H.PROJECT

AB 테스트를 설계할 땐 고려해야 하는 것들이 여러 가지가 있는데 간단히 얘기하면 다음과 같다. MDE(Minumum Detectable Effect) : 비즈니스적으로 유의미한 차이가 어느 정도인지 미리 정의한다. 예를 들어 전환율에서 2%의 차이(절대 차이)를 탐지하려고 한다면 MDE는 0.02이다.검정력(Power) : 귀무가설이 참이 아닐 때 귀무가설을 기각할 수 있는 능력. 보통 80%로 설정한다.대립가설이 참일 때 귀무가설을 기각할 수 있는 능력. 즉, 실제로 차이가 있을 때 그 차이를 발견할 확률검정력은 1-베타와 동일. (베타는 제2종의 오류)(2종의 오류=대립가설이 참일 때 귀무가설을 기각하지 않는 오류를 범할 확률)표본 크기 : 몇 명을 대상으로 실험을 진행할지 알아야 한다. 이를 계산..

1. 통계적 유의성  연구나 비즈니스 등의 데이터 분석 현장에서 가설이 옳은지 검증하는 작업은 매우 중요하다. 예를 들어, "신약에 효과가 있다"라는 가설을 검증하고 싶다고 가정해보자. 신약이 아닌 가짜약을 투여한 모집단 A와 신약을 투여한 모집단 B가 있다. 이때, "신약에 효과가 있다"라는 가설을 통계적인 가설로 바꿔보면 다음과 같다. 가짜약을 투여한 모집단 A의 평균과신약을 투여한 모집단 B의 평균은 다를 것이다.(Two-sided, 양측가설) 여기서 두 가지 가설이 도출된다.귀무가설(null hypothesis, 영가설) : 신약에 효과가 없다. (모집단 A의 평균과 모집단 B의 평균이 동일하다.)대립가설(alternative hypothesis, 대안가설) : 신약에 효과가 있다. (모집단 A의..

1. AB Test란 무엇인가 자사 서비스를 운영하는 IT 기업은 높은 확률로 서비스의 UX/UI 개선을 중요하게 생각한다. 매출 증대와 같이 회사의 존속을 위해 중요한 키 메트릭을 끌어올리기 위해선 서비스의 UI 개선보단 거시적인 비즈니스 전략이 더 중요할 수도 있지만, 서비스의 편의성이 낮아 고객 경험이 낮은 경우엔 밑 빠진 독에 물 붓기와도 같다.  여러 상품을 판매하는 이커머스 서비스를 예로 들어보자. 유저는 서비스에 진입 후 이런저런 행동들을 통해 상품을 탐색하고, 그러다가 원하는 상품을 클릭해 상품 페이지에 진입하고 결국 구매를 하게 될 것이다. 이처럼 앱에 진입 후 구매까지의 일련의 행동들이 발생하는 과정을 고객 여정이라고 한다. 유저는 구매에 이르기까지의 고객 여정 중 여러 경험들을 하게 ..

자체적인 앱 서비스를 운영하는 대부분의 테크 기업들은 프로덕트에 대한 AB 테스트를 끊임없이 진행하며 서비스를 고도화한다. AB 테스트는 간단히 말해, 기존의 상태에서 뭔가에 변화를 주려고 하는데 이 변화된 것이 기존의 상태보다 더 나은지를 테스트 하는 과정이다. 여기서 기존의 것을 A, 변화된 것을 B라고 하는데 실험 설계 단계에서 핵심 지표와 가드레일 지표 등을 설정하고 실험 종료 후 이 지표들을 측정한다. 측정 결과에 따라 B군으로 롤아웃을 하거나 A군으로 롤백하게 된다. * 가드레일 지표(Guardrail metric) : 실험으로 인해 떨어져서는 안되는 지표* 롤아웃 : 기대했던 대로 실험 결과가 잘 나와서 B군으로 배포하는 경우. 반대로 A군으로 다시 원상복구 해야할 경우, 롤백. 단, 여기서..