모수와 기간 설정
‘권고되는 기준’ 은 있지만, 서비스의 성격이나 회사 상황에 따르게 다르게 설정한다.
성공 지표가 이산형일 경우
t- test, 분산 분석을 사용해서 검증하는데,
통계학의 관점에서는 약 30미만의 표본을 대상으로해도 유의성을 검증할 수 있다.
실무에서 적용하는 실험 대상 수는 이보다 일반적으로 높기 때문에 모수가 부족할 일은 걱정할 필요가 없다.
모수가 작을수록 그만큼 차이가 커야 유의한 결과를 얻을 수 있으며, 모수가 너무 크면 너무 쉽게 유의한 결과를 얻는다는 특징이 있다 기간 설정
•
트래픽과 유저 수, 유저가 실제 행동을 하기까지 평균적으로 걸리는 시간을 고려해서 적절하게 설정한다.
•
실험을 통해 빠르게 영향받는 지표라면 기간을 짧게 잡기도 한다.
•
일반적으로 최소 1주일을 잡고 본다고 한다.