귀무가설과 대립가설

1. 귀무 가설이 참(실제) → 참(판단) : 기각 X

2. 귀무 가설이 참(실제) → 거짓(판단) : 기각 O

: 차이가 없는데, 있다고 판단하는 경우 (대립가설 채택), 제 1종 오류(알파)

3. 귀무 가설이 거짓(실제) → 참(판단) : 기각 X

: 차이가 있는데, 없다고 판단하는 경우 (귀무가설 채택), 제 2종 오류(베타)

4. 귀무 가설이 거짓(실제) → 거짓(판단) : 기각 O

결론 : 일반적인 서비스에서 활용하는 A/B 테스트에서는 제 1종 오류(유의미한 차이가 없는데 있다고 하는 오류)가 장기적으로 더 좋지 않다.