실험 플랫폼의 신뢰도를 측정하기 위한 테스트로 보통 실험 플랫폼을 교체할 때 미리 진행한다. 대조군 A와 동일한 페이지를 실험군 B로 설정해 세팅 자체는 A vs B로 진행하지만, 사실상 같은 콘텐츠와 기능을 노출하기 때문에 A vs A의 실험 결과를 측정한다.
대부분의 A/B test 가 특정 지표의 전환율 상승을 목표로 진행한다면, A/A test 는 결과에 차이가 없는지 확인을 목표로 진행한다.
웬만하면 서비스 체험 기간에 진행해서 구매 및 구축 전 미리 해당 플랫폼의 신뢰도를 측정하는 것이 좋다. 이미 검증하여 사용하는 플랫폼이라 하더라도 종종 A/A 테스트를 진행하여 해당 실험 결과의 신뢰도를 유지할 수 있도록 하는 것이 좋다.
다만, A/A테스트는 많은 모수를 필요로 하기 때문에, 충분한 기간을 두고 진행하는 것이 좋다.