OEC(Overall Evaluation Criterion)
ab test를 통해서 달성하고자 하는 최종 목표를 의미
통계에서는 종속변수(혹은 KPI) 라고 부름
•
단기적으로 측정 가능
◦
장기적으로는 전략적인 목표를 추진할 수 있어야
•
중요한 변화를 감지할 수 있을 정도의 민감도를 갖추고 있어야
◦
통계적 분산, 실험군과 대조군의 차이 정도, 추출 단위에 따라 달라짐
파라미터
OEC에 영향을 미치는 통제할 수 있는 실험 변수를 의미.
통계에서는 요인이라고 부름
•
실험에서 통제 가능한 실험 변수는 독립변수와 통제 변수 등이 있음
파라미터를 나열한 후, 가장 우선순위가 높은 방법부터 테스트를 진행하게 됨.
•
참고할 수 있는 프레임워크로 ICE(Impact/Confidence/Ease), MosCow(Must have, Should have, Could have, Won’t have) 등이 있음