배민앱에는 동네 사람들이 직접 추천하는 오프라인 가게와, 단골들이 남긴 후기를 주제별로 모아 볼 수 있는 서비스가 있습니다.


바로 "우리동네" 서비스인데요.
현재 송파구와 광진구에서 시범 운영하면서 전국으로 서비스 범위를 확장하기 전에 고객 가치와 품질을 높여가는 작업들을 하고 있습니다.

"우리동네" 서비스를 만드는 배민우리동네팀은 기획자와 개발자가 한 팀인 목적 조직으로 이루어져있습니다. 매일 만나서 과제를 점검하고, 빠르게 기획-개발-배포-수정하며 ‘저세상’ 속도로 일하고 있죠.

그러던 어느 날, 상반기에 진행했던 과제들의 성과 지표를 정리하게 되었습니다. 각 과제가 목표를 달성했는지, 실패했는지 돌아보고 이후 방향성을 논의하기 위함이었는데요.

단기간에 진행했던 과제가 많았던 만큼 관련된 지표를 뽑는 것만 해도 만만치 않았는데요. 한 편으로는 결과가 어떻게 나올까 두근거리기도 했습니다.

그런데 지표를 뽑고, 데이터를 확인해 성과를 검증하면 할수록 무언가 잘못되었다는 생각이 들기 시작했습니다.

배포 이후, 그래서 성과가 뭐죠?

배민앱의 목표(Goal)는 명확합니다.

배민앱의 목표

• 고객이 배고플 때 원하는 가게/메뉴를 빠르게 주문하고 배달받는 것

하지만 배민우리동네 서비스의 목표는 배민앱과는 달랐어요

배민우리동네 서비스의 목표

• 유저가 동네의 콘텐츠를 소비하고, 새로운 콘텐츠를 생성하도록 하여 탐색을 활성화한다.
• 이를 통해 서비스에 깊이 관여하는 사용자를 늘리고, 서비스의 가치를 높인다.

서로 다른 목표를 가지고 있었기 때문에 서비스 기획 의도부터 UI/UX, 측정 지표까지 여러 가지 부분에서 배달 서비스와 다른 점이 많았죠.

각 과제의 성과를 제대로 파악하려면 ‘그래서 A와 비교했을 때 상대적으로 얼마나 좋아졌는가?’를 평가할 수 있어야 하는데
배민우리동네 서비스에서는 매번 새로운 콘셉트의 기능을 출시하고 있고 배달서비스에는 없는 UI/UX가 많아서 비교할 대상을 찾는 것이 쉽지 않았습니다. 그래서 특정 기능의 배포 전과 후 지표가 어떻게 바뀌었는지를 먼저 확인했는데요. 기존까지 인지하지 못했던, 분석 커뮤니케이션 오류를 발견했던 사건이 있습니다.

2024년 4월 16일에 ‘단골집’이라는 프로젝트를 오픈하고 지표를 분석할 때의 일입니다.

동네 사람들의 단골가게 목록을 제공해서 신뢰할 수 있는 동네 가게 탐색 경험을 제공한다

라는 목표로 프로덕트를 개발했고, 오픈 전과 오픈 후 홈에서 가게 상세로 전환되는 CTR(click through rate, 노출 대비 클릭된 비율)을 비교해 팀에 공유했습니다.

• 오픈 전 CTR은 8.7%, 오픈 후 25.4%로 증가하여 191% 상승했습니다.

분석 자료 초안을 팀에 공유한 직후, 팀장님으로부터 다급하게 후속 미팅 요청을 받았습니다

• 혜인 님, 분석 내용 확인했는데요. CTR 차이가 16.7%가 아니라 191%가 오른 게 맞나요?
• 아 네네. 기존 8.7%에서 25.4%로 성장했으니, 성장률이 191%라고 볼 수 있지 않을까요?
• 잠시만요. 뭔가 실제 결과보다 더 뻥튀기 되는 느낌이 드는데요? 이게 맞아요?
• 어.. 그동안 두 값의 차이가 얼마나 나는지 대부분 이렇게 설명했었는데요..?
• 여기에는 두 가지 문제가 있어요. 첫째, 이미 백분율로 구한 값이라서 두 백분율의 차이는 %p를 사용하는 것이 맞을 것 같고. 둘째, 실행결과를 통해 다음 액션을 결정하기 위해 데이터를 정리하는 것인데 과제의 영향도를 제대로 파악할 수 없다는 거예요.

데이터 분석이라면 ‘우리가 이만큼 좋은 결과를 냈어요!’ 라는 것을 보여줄 수 있어야 한다는 생각이 밑바탕에 깔려 있었고 누군가 봤을 때 더 좋아보이는 방법을 선택하려고 했던 것이라
부끄럽지만, 맞는 말이었습니다.

퍼널 지표를 만들었습니다. 그런데 이제 ‘고객 관여도’를 곁들인…

이 혼란을 해결하기 위해, 우리 팀은 배민우리동네 서비스가 기존 음식배달 서비스와 추구하는 방향이 전혀 다름을 명확히 했습니다.

• 음식배달 서비스(배민앱)의 사용자 행동 목표
  • 사용자가 빠르게 원하는 가게와 메뉴를 찾아 주문을 완료하는 것
  • 주요 지표 : 주문 완료까지 걸린 시간, 주문 수
• 배민우리동네의 사용자 행동 목표
  • 사용자가 서비스 안에서 더 많은 콘텐츠를 탐색하고 생산하는 것
  • 기존 지표로는 측정할 수 없음

그리고 사용자 행동 기반의 퍼널(Funnel)을 만들었습니다.

퍼널: ‘깔때기’라는 뜻으로 사용자가 웹사이트를 방문하여 구매까지 가는 과정을 단계별로 나눈 차트를 말합니다

기존 배달앱이 ‘홈 – 가게목록 – 가게상세 – 장바구니 – 주문완료’와 같이 주문 단계에 따라 퍼널을 정의했다면
배민우리동네는 콘텐츠 관여 정도에 따라 사용자를 5개의 그룹으로 나눴습니다.

• Visitor: 서비스를 처음 방문한 사용자
• Browser: 콘텐츠를 둘러보기 시작한 사용자
• Reader: 콘텐츠를 클릭해 읽기 시작한 사용자
• Heavy Reader: 여러 콘텐츠를 깊이 탐색한 사용자
• Liker: 콘텐츠에 좋아요, 팔로잉 등 리액션을 한 사용자
• Content Creator: 직접 콘텐츠를 생성하는 사용자

이 지표는 ‘프로덕트로 어떤 사용자 행동을 만들어 낼 것인가?’에 대한 기준이 되면서 많은 부분에서 우리 팀의 커뮤니케이션 방식에 영향을 줬습니다.

지표 도입 후 경험한 세 가지 변화

첫 번째, 성과를 측정할 수 있게 되다

과거에는 새로운 기능의 성과를 평가하기가 어려웠습니다. 그런데 이 퍼널을 도입한 이후, 사용자 행동 변화에 따른 성과를 즉각적으로 확인할 수 있게 됐습니다.

하나의 예시로, 2024년 6월 28에 ‘Visitor → ‘Browser로 전환을 높이는 것을 목표로 홈 화면을 개선했습니다. 리뷰를 큐레이션 형태로 탐색할 수 있는 영역을 추가한 것인데요.

배포 이후 Browser그룹의 비중이 크게 늘어난 것을 통해 배포 전에는 사람들이 방문했다가 이탈되는 비율이 높았다면, 이제는 들어와서 콘텐츠를 조금이라도 탐색하는 비율이 늘어난 것을 확인할 수 있었습니다.

과제에서 목표했던 것이었고, 목표를 달성했으니 성과가 있었다고 판단할 수 있게 되었습니다.

두 번째, 팀 커뮤니케이션의 효율성이 높아지다

지표 도입 전, 플래닝 회의는 이번 개발 범위 내에 작업을 어디까지 할 수 있는지 아닌지에 따라서 과제를 진행하거나 하지 않는 방식으로 논의가 이루어졌습니다. 그러다 보니 이런 대화는 일상이었죠

• 🙋‍ PM: 이 기능이 이번 일정 내 가능할지 검토부탁드려요

• 🙅‍♂️ 개발자: 이미 리소스가 꽉 차서 더 이상은 힘들어요~

(a.k.a. 오늘도 개발자가 안 된다고 말했다)

지표가 생긴 후, 팀은 각 과제에서 달성하려는 목표가 무엇인지 명확히 이해할 수 있게 되었고, 목표 달성에 핵심이 되는 기능과, 그렇지 않은 기능을 구분해서 커뮤니케이션할 수 있게 되었습니다. (노력 중입니다)

• 🙋‍ PM: 오~버튼은 성과를 측정할 수 있는 유일한 요소이기 때문에, 편의 정보인 메뉴명을 노출하는 것보다 더 중요합니다. 사전 기획 시에는 해당 기능이 리뷰 성격상 제외되었었으나, 목표 지표를 세우다 보니 이 기능이 없으면 성과 측정이 어렵겠다는 것을 알게 되었어요. 오픈 스펙에 추가해 볼 수 있을까요? 다른 정보가 제외되더라도 이 정보를 꼭 넣고 싶어요"
• 🙆‍♂️ 개발자: 현재 예정된 작업들로 일정이 다 찼지만 이 기능이 더 중요하다면 다른 작업을 늦추고 진행해 볼 수 있을 것 같아요. 이에 대한 결정이 필요합니다
  
  

세 번째, 더 효과적인 해결책을 찾을 수 있게 되다

지표 중심 사고는 팀이 문제를 해결하는 새로운 접근 방식을 고민할 수 있게 만들었습니다.

예를 들어, 사용자 참여 테마지도를 오픈하고 나서 가장 큰 고민거리는 지도에서 가게를 탐색하는 "탐색 사용자"는 많은데, 장소를 직접 제보하는 "제보 참여 사용자"가 적다는 것이었는데요.

(설명) 빨간색이 테마지도 탐색 유저. Reader와 Heavy reader 그룹은 높은 반면 Liker와 Writer(=Content Creator) 그룹으로 전환율이 낮음

클릭조차 귀찮아하는 사용자들에게, 제보 한 건당 5,000원을 주는 프로모션을 진행해도 참여율을 높이기 어려웠습니다.

이 과제의 성과 분석을 통해 테마지도의 다음 목표는 Liker/Writer 그룹을 늘리는 것으로 정했습니다. 그리고 후속 과제 후보로 여러가지들을 논의했는데요. 기존 프로덕트를 개선하는 것으로는 기대효과에 한계가 있거나, 지속 가능한 방법이 아니어서 다른 각도의 해결책이 필요했습니다.

‘기존 과제를 개선’한다는 틀을 버리고, ‘이 지표를 늘리기 위해서 효과적인 방법이 무엇일까?’ 를 고민하다보니 새로운 아이디어가 나오기 시작했습니다.

• 기존 프로덕트 개선 중심의 해결책
  • 지도에서 제보하기 버튼을 더 잘보이게 하기 → 지도로 유입되는 사용자 수가 적은데 임팩트가 있을까?
  • 프로모션이 진행 중일 때, 제보하기 버튼에 ‘장소 등록 시 5000포인트 지급!’을 노출하기 → 지속 가능한 방법이 아님
• ⭐️ 지표 개선 중심의 해결책
  • 사용자 참여 단계를 2depth인 지도 화면이 아니라, 1depth인 홈 화면으로 한 단계 꺼내오기 → 잠재적 참여자 수를 늘릴 수 있음
  • 제보 방식을 극단적으로 간소화해보기(사용자가 입력하는 걸 모두 없애고, 추천해요/추천하지 않아요 중 선택하는 방식) → 참여 허들을 낮춰서 전환율을 높일 수 있음!

이 과정을 통해 홈 화면에서 바로 동네 가게에 대한 피드백을 받는 ‘피드백 카드’가 배포되었습니다. 그 성과는 어떨까요?

10월 한달 간 지도에서 참여했던 사용자 수를, 배포하고 단 5일만에 달성하고는 지금도 쭉쭉 참여 유저수를 늘려나가고 있습니다.

마무리하며: 보여줄게 완전히 달라진 성과

과제별로 어떤 지표를 봐야 할 지, 어떻게 봐야 할 지 혼란스러웠던 논의는 이제 팀 전체가 같은 관점을 공유하며 효율적으로 협업하고, 더 나은 프로덕트를 만드는 과정으로 이어지고 있습니다.

특히, 저는 이 과정을 통해 두 가지 측면에서 성장을 경험했는데요.

첫째, 성과 지표를 다루는 관점의 변화
보고를 위한 분석에서 프로덕트의 성장 방향을 함께 이야기할 수 있는 분석으로, 분석의 목표와 관점이 변화했습니다.

둘째, 프로덕트 문제 접근방식의 변화
이전에는 ‘이 화면에서 어떤 부분을 개선할 수 있을까?’라는 질문으로 시작해 실행 가능한 개선사항 도출에 집중했다면 이제는 ‘어떻게 하면 이 지표를 더 효과적으로 개선할 수 있을까?’라는 질문으로 시작해 더 큰 임팩트를 만드는 방법을 고민하게 되었습니다.

배민우리동네는 아직은 송파구와 광진구에서 운영 중인 작은 서비스이지만, 하나씩 하나씩 목표하는 성과를 쌓아 나가며 만든 프로덕트가 어떤 변화를 가져올지 지켜봐 주시면 좋겠습니다.

마지막으로 지표와 함께 등장한, 저희 팀 모두가 좋아하는 팀훈을 공유하며 마무리하겠습니다. 감사합니다.

오픈은 성과가 아니다. 성공시키는 게 성과다

조혜인

우아한형제들에서 프로덕트 매니저(PM)를 담당하고 있습니다. ‘어떻게 해결할까?’에서 ‘왜 해야 할까?’를 고민하기 시작하며 진짜 PM 역량과 역할이 무엇인지 배워가고 있습니다.