Study 계획/달성 현황
계획 1
계획 2
What I learned
배경
토스의 사전 과제를 진행하면서 , A/B test 의 중요성, 가설을 설정하고 해결해나가는 flow 가 중요하다는 것을 다시 한번 느꼈습니다.
A/B test를 공부하기에 앞서 문제를 올바르게 정의하고, 가설을 설정하는 과정 에 대한 이해가 필요하다고 판단했고,
수행한 과제를 회고하고, 문제가 뭔지, 앞으로 어떻게 개선하면 좋을지 등에 대해서 정리해봤습니다.
비즈니스의 목표 세분화하기
(아무래도 사전 과제를 예로 드는게 편해서..눈 감아 주세요..🫥)
증권사에게 매출로 이어지는 유저의 핵심 행동은 무엇인가
위의 가설을 증명할 수 있는 실험 설계
가드레일 지표, 성공 지표, 보조 지표 이해하기
여기서 훈영 님이 추천해주신 강의를 다시 한번 첨부합니다.
(얘도 사전 과제로 나온 내용인데…🫥)
A/B test 결과, 성공 지표(계좌개설 완료율)는 3% 상승, 보조 지표(푸시 클릭률)는 1% 상승했다면 어떻게 해석할 수 있나?
반대로, 가드레일 지표는 10 % 하락, 성공 지표는 5% 상승했다면 어떻게 해석할 수 있나?
실험 결과를 해석하고 의사결정을 내릴 때, 지표의 통계적 유의미성뿐 아니라 고려해야 할 요소
1.
Interference
한 그룹의 행동이 다른 그룹의 행동에 영향을 미칠 경우, 지표 결과에 확신할 수 없다.
[ case ]
•
두 개의 그룹이 잠재변수나 공유된 리소스때문에 연결되어 있는 경우(시장의 공급과 수요를 공유)
•
두 개의 그룹이 특정 단위가 같은 소셜 네트워크에 속하거나 물리적인 접점이 있는 경우
Solution 랜덤화 유닛 변경하기!
ex ) 잠재변수로 인해 interference 가 발생했다면, 해당 잠재변수를 기준으로 랜덤화 진행!
Solution 의 한계점 세부적인 고객 단위의 랜덤화 : 분산은 ↓, 편향은 ↑
일반적인 단위(시간 간격, 지역 등)의 랜덤화 : 편향은 ↓, 분산은 ↑
2.
비용 대비 이익
OMTM이 실험안에서 1% 떨어졌다고 가정할 때, 이로 인한 경제적 비용 대비 이익을 고려해서 최종 결정을 내리는 것이 중요! 통계적으로 실험안이 유의미하지 않다하더라도, 전체적인 경제 비용 대비 이익이 크다면 실험안을 선택할 수도 있다.
3.
지속 관찰과 조기 종료
[거짓 양성 오류 : 제 1종 오류]
지속적으로 결과를 모니터링하거나 통계적 유의성을 확보한 순간 실험을 종료하는 경우, 1종 오류의 발생 가능성이 있습니다. 즉, 실제 차이가 없는데, 차이가 있다고 오류 판정할 수 있다는 것
[ 거짓 음성 오류 : 제 2종 오류 ]
→ 사실 제 1종 오류보다 통계적인 해석으로는 제 2종 오류가 더 심각한 오류라고 본다.(비즈니스 관점에서도 그런지는 추후 확인해보자)
즉, 실제 차이가 있는데, 차이가 없다고 오류 판정하는 것!
주의 → 제 1종 오류와 제 2종 오류는 서로 상쇄작용으로 둘 다 완전히 없애는 것이 불가능하다
Solution •
Sequential Hypothesis Testing 을 통해 p - value를 조정
•
베이지안 테스팅 방법을 활용해 자동 모니터링 방법 고려