[코드스테이츠 PMB 15] W5D3 국내외 A/B 테스트 사례 리서치

1. 국내 서비스를 하나 선정하고 왜 해당 서비스를 선택했는지에 대한 설명

국내 사례: 당근마켓

당근마켓은 '당신 근처의 마켓'의 줄임말로 지역사회 기반 중고물품 거래 플랫폼으로 2015년 서비스를 시작했다. 자기가 인증한 위치 주변 최대 10km 이내의 사람들만 거래할 수 있기 때문에 택배 거래 빈도가 적고 직거래가 용이하다. 이는 중고거래에서 흔히 발생하는 사기 거래를 방지할 수 있다는 점에서 인기를 끌었다.

또한 거래 당사자끼리 거래에 대한 피드백을 주는 기능으로 '매너온도'라는 기능을 도입해 직거래의 신뢰도를 더했다. 앱 내에서 물건에 대해 채팅을 할 수 있는데 해당 기능을 통해 물건에 대한 문의와 가격 협상, 거래 진행 등의 필요한 커뮤니케이션을 할 수 있다. 현재는 중고거래 앱에서 '하이퍼 로컬(Hyper-local) 플랫폼'으로서의 정체성을 확고히 해나가며 사용자 주변의 지역에 대한 다양한 정보를 얻을 수 있는 '내근처', '동네생활' 서비스도 제공하며 국내 최다 다운로드 앱(3,000만+)이자 최대 규모의 MAU(월간 활성화 이용자 수)인 1,800만 명이 이용하는 서비스로 성장하였다.

당근마켓을 선정한 이유는 당근마켓 중고거래팀에서 '1주 1실험(A/B테스트를 의미)'을 하고 있다길래 다양한 A/B테스트 사례가 있을 것 같아 선정했다. 그리고 당근마켓 사례 중 A/B 테스트 실패 사례와 실패를 개선하기 위해 어떻게 했는지 과정도 담겨 있어 A/B 테스트를 배우는 입장에서 풍부한 간접 경험을 기대하고 당근마켓을 선정했다.

2. 당근마켓에 대한 A/B 테스트 사례를 구글을 통해 최대한 수집하기

(1) 당근마켓 검색팀 "키워드 알림 설정 기능" A/B 테스트

직관만 믿고 까불었다가 망한 PM의 사연

안녕하세요, 검색 프로덕트 매니저 Demi예요.

medium.com

2) 당근마켓 중고거래팀 "1주 1실험" A/B 테스트 프로세스

1주 1개 실험하는 프로덕트 팀이 되는 여정

안녕하세요 당근마켓 중고거래팀에서 데이터 분석가로 일하고 있는 매튜에요!

medium.com

3. 당근마켓의 A/B 테스트 실행과 결과에 대해 정리합니다. (실패한 사례도 괜찮습니다.)

(1) 문제 정의

키워드 알림 등록 버튼을 더 잘 쓸 수 있게 만들자.

이유: 당근마켓은 유저가 자주 방문할수록 주요 수익원인 광고 노출 가능성이 높아지기 때문이다. 즉, 유저 리텐션(retention)을 관리하기 위해 개발했다.

(2) 가설

개선 전의 키워드 알림 등록 버튼은 윗부분에 있었다. 그러나 상단 부분에 다양한 기능이 있어서 사용자가 보기에 불편하므로 화면 아래 부분에 단독적인 알림 설정 버튼을 만든다면 사용자들이 더 자주 이용할 것이다. 결과적으로 유저의 재방문(retention)을 유도하고 당근마켓에 사용자를 더 자주 방문하게 만들 것이다.

(3) 기간

A/B 테스트: 3주, 2022년 3월 17일~2022년 4월 6일

A/B/C/D 테스트: 2주, 2022년 4월 7일~2022년 4월 19일

(4) 타겟

명확하게 나와있지 않음

추측하건대 키워드 알림을 사용한 경험이 있는 이용자를 대상으로 선정했을 것이다. 자세하게 말하자면 해당 알림을 통해 최근 1개월(더 길수도 있다) 당근마켓에 재방문한 고객을 대상으로 했을 것이다. 기능을 안 쓴 사람은 가설로 검증하고자 하는 '당근마켓에 더 자주 방문한다'는 가설로 검증할 수 없기 때문에 해당 실험에서 제외했을 것이라 추측한다.

(5) 테스트 형식

UI를 총 네 가지(A, B, C, D안을 만들었다)를 만들었다.

A안: 기존처럼 알림 설정 기능이 상단에 위치하는 안
B안: 아래 위치하되 배경 색과 같은 색으로 위치시키는 안
C안: B안과 동일한 위치지만 버튼 색깔이 배경색과 대조
D안: 하단 오른쪽에 주황색 플로팅 버튼

(6) 해당 사례를 통해 얻은 인사이트

1) A/B 테스트는 경우에 따라 가능한 사안을 다양하게 검토할 수 있다.

A/B 테스트라고 해서 반드시 두 가지 안만 만들어야 하는 것은 아니고 필요에 따라 검증하고 싶은 안이 여러 가지가 있다면 네 가지도 만드는 것을 알게 되었다. 물론 인력과 시간이 한정되어 있으므로 비교적 간단한 기능에 대해서 다양한 안을 구현할 수 있었던 것이라 생각한다.

2) 운영체제 차이가 미치는 사용자의 행동 차이를 고려해야 한다.

iOS와 Android 유저의 홈버튼 사용 습관에 따라 홈 버튼 근처를 보고 기능을 사용하는 차이가 현저하게 난다는 것도 알게 되었다. Android 유저는 화면 하단의 내비게이션바를 자주 이용하기 때문에 개선된(B안) 하단의 버튼을 누르기 전 키워드 알림 기능을 사용하는 비율이 비교적 적게 감소했지만 iOS 유저는 홈 인디케이터를 자주 사용하지 않기 때문에 Android 유저에 비해 6배나 더 감소 비율이 컸다고 한다.

4. 내가 당근마켓 검색팀의 PM 이라면 어떻게 실행(개선)을 해볼 수 있을지 서비스 성장을 중심으로 기술

(1) D안에 대한 의문

위에서 기술했듯 PM, 개발자, 디자이너의 한정된 시간(자원)을 사용해 A, B, C안과 달리 D안은 '키워드 알림'이라는 명시적인 내용이 없어서 키워드 알람 기능을 모르는 사람이라면 해당 기능이 있는지 모르고 넘어갈 것 같았다.

그런데 위의 A~D안 이용 데이터 비교를 보면 해당 D안의 이용률이 두 번째로 높았다. A안보다 살짝 높아서 유의미하다고 볼 수 있을지 판단은 차치하고서라도 해당 버튼에 대한 설명 없이 종 모양 아이콘만 있다면 키워드 알림 기능을 모르는 유저가 새로 쓰는 비율이 A, B, C 안에 비해 얼마나 차이가 날지 의문이 생겼다.

그래서 위의 타겟 설정 시 '기존에 키워드 알림 기능을 사용해 본 사람'으로 설정한 것이다. ~~(나름 논리적으로 설정했다고 어필중)~~ 타겟 설정을 키워드 알림 기능을 사용해본적이 없는 유저도 포함시켰다면 주황색 벨 모양의 플로팅 버튼이 생긴 것에 대한 설명이 없다면 확실하게 해당 기능이 갖는 이점을 유저에게 어필할 수 있을지 의문이 들었기 때문이다.

(2) 다크모드 지원

처음 A/B 테스트 진행 시 위에 있던 키워드 설정 알림 버튼을 아래로 내리는 아이디어는 결과적으로 좋았으나 문제가 있었다. 바로 배경 색과 같은 플로팅 버튼 배경 색을 써서 시각적으로 효과적이지 않았다는 것이다. 그래서 두 번째로 개선한 최종안은 배경 색과 플로팅 버튼의 색을 대비(흰색 배경 위에 검정 플로팅 버튼)시켜 사용자가 시각적으로 잘 인지하게 만들었다.

그렇다면 과연 다크모드에서 해당 기능이 디자인적으로 일관적인지 살펴보기 위해 당근마켓을 다크모드로 접속해 검색해보았다. 좌측 화면과 같이 다크모드 적용 시에는 플로팅 버튼의 색깔이 흰색 계열이었다.

결론적으로 다크모드에서도 배경색과 플로팅 버튼의 색깔을 대비시켜 유저의 입장에서 해당 기능을 잘 분별할 수 있게 설정이 되어 있었다.

(사실 다크모드에서 플로팅 버튼이 검정으로 뜬다면 개선안으로 선정하려고 했으나 당근마켓에서는 디자인적 일관성을 잘 지키고 있었다..)

(3) 잘못 입력된 검색어 수정 기능

검색 기능을 제공하는 다양한 서비스들은 검색 기능이 핵심 기능인가에 따라 잘못 입력된 검색어를 적절한 검색어로 수정해주는 기능을 지원하고 있다. 대표적으로 네이버의 '한국어 초거대 AI 언어 모델'이 있다. (네이버는 정보 검색을 위해 유입되는 유저들이 많으므로 해당 기능에서 유저의 불편함을 줄여야 하는 중요도가 높았기 때문에 고도화 모델을 개발했을 것이다)

그래서 당근마켓은 잘못 입력된(오타) 검색어를 수정해주는 기능이 있는지 궁금해서 검색해보았다. 좌측 이미지는 '자전거'를 찾으려고 한 사용자가 실수로 '자적너'라고 검색한 결과이다. 보다시피 당근마켓은 잘못된 검색어를 유사한 검색어를 띄워주는 기능은 제공하지 않고 있다.(Android, Ver 22.44.5, 2022년 11월 14일 최종 업데이트 기준)

해당 사례처럼 잘못 입력된 검색어를 대신해 수정된 검색 결과를 보여주는 것은 빅데이터를 활용한 AI 기술의 적용이 필요하고, 해당 기술의 속도와 정확도가 높아야 비로소 고객에게 만족할만한 경험을 제공할 것이다.

수정된 검색 결과를 보여주는 AI 모델에 대한 이야기에 초점을 맞추기보다 해당 기능을 유저들이 자주 입력하는 키워드 데이터를 구축해 '가능한 키워드 후보군'을 띄워주는 방식으로 키워드 알림 받기를 고도화 하는 방안을 생각해보았다.(해당 데이터는 검색 입력창을 누르면 아래에 뜬다. 즉, 현재 해당 기술은 구현 가능하다고 본다)

예를 들어 '자전거'를 검색하려다가 '자적너'라고 친 사람이 다시 '자전거'로 직접 검색해 유의미한 탐색(스크롤, 상세페이지 클릭 등)을 한 데이터를 모아 추천 검색어를 띄워주는 동시에 해당 키워드 알림 받기 기능을 제공하는 것을 생각했다. '자적너'라고 검색했더라도 아래에 "'자전거'로 검색하시겠어요?", "'자전거' 검색 결과 이동하기(이동 버튼)", "'자전거' 키워드 알림 받기" 이런 식으로 띄우는 방안을 생각해보았다.

검색팀에서 주도할 수 있는 개발 사안이지만 해당 개발건은 복잡하다보니 중장기 프로젝트로 개선해야 할 내용이고, 현행 당근마켓에서 진행중인 '1주 1실험'과의 우선순위 이슈도 생길 것 같다. ~~그래서 아직 개발이 안 된 게 아닐까?~~

5. 참고 자료

1. 직관만 믿고 까불었다가 망한 PM의 사연(당근마켓 블로그), https://medium.com/daangn/%EC%A7%81%EA%B4%80%EB%A7%8C-%EB%AF%BF%EA%B3%A0-%EA%B9%8C%EB%B6%88%EC%97%88%EB%8B%A4%EA%B0%80-%EB%A7%9D%ED%95%9C-pm%EC%9D%98-%EC%82%AC%EC%97%B0-61946dc969eb
2. 1주 1개 실험하는 프로덕트 팀이 되는 여정(당근마켓 블로그), https://medium.com/daangn/1%EC%A3%BC-1%EA%B0%9C-%EC%8B%A4%ED%97%98%ED%95%98%EB%8A%94-%ED%94%84%EB%A1%9C%EB%8D%95%ED%8A%B8-%ED%8C%80%EC%9D%B4-%EB%90%98%EB%8A%94-%EC%97%AC%EC%A0%95-b8a4c337a8e1

6. 해외 서비스를 하나 선정하고 왜 해당 서비스를 선택했는지에 대한 설명

선정 서비스: Google

꾸준히 다양한 기능 개발과 테스트를 진행하는 만큼 사례를 풍부하게 찾을 수 있을 것이라고 기대하고 Google을 조사했다. Google 자체가 제공하는 서비스가 방대하기 때문에 오늘은 Google의 검색 기능에 한정해서 조사, 정리하였다.

7. Google에 대한 A/B 테스트 사례를 구글을 통해 최대한 수집하기

해외 사례는 영어로 검색하는 것을 권장했기에 영어로 된 글 위주로 찾았다.

1. Google's A/B Test Is Hinting That Labels With Icons Are Better Than Labels Alone

2. Google's Recommended Questions Are Better Off Below Search Results

Google's Recommended Questions Are Better Off Below Search Results | GoodUI

What's more important first - search results or recommended alternative questions based on what other users ask? It's now clear that Google ran such an experiment on their search results with a clear decision in favor of the former (showing real search res

goodui.org

3. Google Has Been A/B Testing Link Colors (Again) And This Light Blue Didn't Pass

4. Google Also A/B Tests The List Vs The Grid

Google의 경우 '검색 기능'으로 한정하더라도 잘 정리된 사례가 많았다. 그 중 두 번째 결과인 '추천 질문 배치'에 대한 내용을 선택해 아래 정리했다.