AB Test란?

AB Test은 그로스 해킹에서 진행하는 실험 중 하나입니다.
여기서 그로스 해킹이란, 서비스 출시 이후에 실험을 통해 서비스에 대한 성장을 이뤄내는 것이라고 합니다. 사용자의 행동 패턴을 분석하고 서비스에 새로운 기능을 추가하거나 기존의 기능을 변경하여 더 나은 서비스를 제공하는 것입니다.

 

AB Test

• 정의: 기존의 서비스 A안과 특정 기능/요소를 변형한 B안을 비교해 어느 것이 더 나은 성과를 나타내는지 측정하는 실험
• 웹사이트, 이메일, 광고 등에 사용
  • ex. 웹사이트에서 특정 배너의 색상을 바꾼다거나, 이메일에서 사용하는 문구를 바꾼다거나, 광고의 사진을 바꿔 클릭률(CTR)의 증가나 수익의 증가를 측정할 수 있음
• 일부 사용자들에게는 기존의 A안이, 다른 사용자들에게는 B안이 표시되어 성과를 비교함
• 중요한 점: A집단과 B집단을 구성할 때, random sampling을 통해 사용자들이 고르게 분포될 수 있도록 해야함
  • ex. A집단에는 여자만 있고 B집단에는 남자만 있거나, A집단과 B집단의 나이대 차이가 있으면 안됨
  • 바꾼 요소를 제외한 다른 변수들을 통제하여 영향을 미치지 않도록 하는 것이 중요함