[분석법] A/B 테스트 설계 과정 (개념, 용어 정의, 실험 설계법)

A/B 테스트는 어떤 기능 혹은 UI가 효과적인지 평가하기 위해서, 유저를 두 집단을 나눠 대조해 보며 분석하는 실험 기법이다.

---

[목차]

1. A/B 테스트란? 
   • A/B 테스트 정의
   • A/B 테스트 하는 이유
2. A/B 테스트 용어 정의
   
   • 기본 차트 만들기 
   • 조건 부여하기 - 해당 연도만 보이기
   • 조건 부여하기 - TOP 10 필터 걸기
3. A/B 테스트 진행 방법
   
   • A/B 테스트 진행 시기
   • A/B 테스트 설계 

---

A/B TEST란?

 

A/B 테스트 정의

앞서 언급한 것 처럼, A/B 테스트는 특정 요소의 성과를 평가하기 위해서, 유저를 두 집단을 나눠 대조해 보며 분석하는 실험 기법이다.

 

 

A/B 테스트 하는 이유

A/B 테스트를 진행하는 이유는 실험을 통해서 외부 요인을 차단하고 명확하게 개선 효과를 확인하기 위해서다.

실험 없이 새로운 기능을 만들었거나 업데이트를 했다면, 새로운 업데이트 영향인지 시즌성 이슈인지 어떤 요인 때문에 성과를 냈는지 알 수 없기 때문이다.

 

출처: 러닝스푼즈

 

A/B 테스트 용어 정의

 

유저 그룹

1. 대조군(control group)

기존 기능, 프로덕트를 제공받는 유저 집단을 의미한다. 

 

2. 실험군 (treatment group)

새로운 기능, 프로덕트를 제공받는 유저집단이다. 

 

 

지표

1. 성과 지표 - 전체 평가 기준 (OEC)

 

실험의 목적 지표로 불린다. 단기적으로는 실험 기간 동안 측정할 수 있어야 하며, 동시에 장기적으로는 전사의 전략적 목표와 맞닿아 있어야 한다. 선행 지표 또는 단기적인 지표를 선택하는 것이 바람직하며, 짧은 퍼널 단위로 짜야한다.

A/B TEST 한 번에 모든 문제를 해결할 수 없으므로, 매출과 같은 후행지표를 선정하는 것에 주의해야 한다.

 

예를 들면 사용자별 활동일 수, 사용자당 세션 수, 성공 세션까지 걸리는 시간, 성공 세션에 대한 정의, 광고 수익 등을 잡을 수 있다.

 

 

2. 보조 지표

 

a/b test 할 때는 단순하게 분석하는 것이 좋으나, 무조건 하나의 지표만 봐선 안된다. 

말 그대로, 성과 지표가 원하는 방향으로 가고 있는 지를 파악할 수 있는 하나의 지표를 추가적으로 선정해야 한다.

 

예를 들어, 해당 기능을 업데이트했을 때 기능을 통한 결괏값을 성과지표로 잡는다면,

그 기능에 유입되는 유입수는 동일해야 하므로 해당 유입 수를 보조 지표로 잡는 경우가 있을 것이다.

 

즉, 변인 통제가 잘 되고 있냐를 확인할 수 있는 지표로 선정해야 한다.

 

 

3. 가드레일 지표

 

해당 개선으로 인해 영향을 받을 수 있는 중요한 지표를 의미한다.

즉, 부정적인 영향을 체크하기 위함이며 최종 성과에 이것만큼은 영향을 줘선 안된다는 뜻이다. 

 

예를 들어, 바다 위를 떠다니는 유람선에서 승객들에게 제공하는 음식을 개선하기 위한 실험을 한다고 가정해 보자.

가드레일 지표는 승객의 안전과 같은 지표를 내세울 수 있다. 음식 개선을 위한답시고, 가장 중요한 안전을 간과하면 안 되기 때문이다.

안전에는 무리가 없되, 최대한의 효과를 내는 음식 제공 방법을 고려해야 한다.

 

타 부서 혹은 타 기능에 대한 사이드 이펙트를 측정할 때도 중요하게 작용된다.

 

홈 화면 쿠폰 배너의 크기를 키우는 실험을 한다고 가정해 보자. 

원래는 마케팅 기획전 배너가 첫 지면에 잘 보였지만, 쿠폰 배너가 커지면서 마케팅 기획전의 배너가 전혀 보이지 않게 됐다.

(예시)

 

이럴 경우에는 쿠폰 배너의 전환율 (성과지표)만 볼뿐만 아니라, 가드레일로 마케팅 기획전에 관련된 지표를 세워주는 것이다.

해당 배너의 CTR 또는 CVR을 보면서 얼마나 영향을 덜 미치냐를 확인해 볼 수 있고, 동시에 해당 상품 매출을 보면서 확인해볼 수 있다.

 

검색창 위치를 변경하는 실험을 한다고 가정해 보자. 지표는 아래와 같이 잡아보면 된다.

[좋은 예시]
성과지표: 검색량
보조지표: 검색페이지 유입량
가드레일 지표: 검색을 통한 구매 전환율 (검색량이 많아질수록 허수가 많아져서 구매전환율이 떨어지는 확인 해야 함)

[나쁜 예시]
성과지표: 매출
보조지표: 검색량

 

A/B 테스트 진행 방법

 

A/B 테스트 진행 시기

기획 단에서부터 실험을 염두에 두는 것이 베스트이다. 실험 설계와 지표를 선정하여 디자인이 완성되면 화면을 기반으로 A/B 테스트 성과를 측정할 수 있는 이벤트 로그를 설계하면 된다. QA를 마치고 A/B 테스트를 진행해 최종 결과로 배포하는 과정을 거친다.

 

 

A/B 테스트 설계

A/B 테스트를 설계한다는 것은 무엇일까? 아래 과정 순서대로 기획해 보면 된다.

 

 

1. 가설 설정 

제일 중요한 문제 정의 부분이다. 새로운 프로젝트로 어떤 것이 개선되는 지를 명확하게 알 수 있도록 가설을 설정해야 한다.

 

[가설 설정 예시]

• 구매와 앱 내 검색과는 많은 상관관계를 가진다. (이미 분석되어 있어야 함)
• 그런데 검색에서 많은 유저의 drop out이 발생하고 있다. 유저 인터뷰를 해보니 검색창의 위치가 불편하다고 한다. 
• 그래서 검색창의 위치를 변경하면 검색이 많아질 것이다.
• 검색이 많아지면 구매에 도움이 될 것이다.

 

2. 지표 설계

앞 서 언급한 세 가지 지표, 성과지표, 보조지표, 가드레일 지표를 선정해야 한다. 

성과 지표의 여정을 길게 짤 수록 왜곡이 많아지므로, 개선을 한 직접적인 부분에 대한 지표를 선정해야한다.

 

 

3. 유저 분배

• 하나의 실험은 전체 유저를 대변할 수 있게 설계해야 한다. 대조군과 실험군은 유저 전체를 나타낼 수 있도록 균등하게 배치해야 한다.
• 한 유저가 여러 실험에 배치되면 좋지 않다.
• 서비스 수에 따라 다르지만, MAU 1~3% 정도 그것도 아니라면 최소한으로 30명은 있어야 분석이 가능하다.
• 유저 수가 많이 모이지 않으면, 기간을 늘리는 방식을 택해야 한다. 만약 그 이하라면, UT(사용성테스트) 하는 것이 훨씬 빠르다.

 

4. 이벤트 로그 설계

실험 결과를 볼 수 있는 세 가지 지표(성과지표, 보조지표, 가드레일 지표)를 볼 수 있는 로그가 잘 들어가 있는지를 확인해야 한다. 

새로 짜기보다는 기존 이벤트값을 잘 활용하는 것이 좋다.

 

 

5. A/B 테스트 진행 

 

QA까지 마무리된 이후, A/B 테스트 후 결과가 좋은 것으로 배포하고 마무리하면 된다.