좋은 지표란 무엇일까.. 좋은 지표의 특징을 개략적으로는 아래와 같다.
1.
좋은 지표는 상대적이다.
‘지난주보다 전환율이 증가했다’ 가 ‘전환율이 2%다’ 보다 더 좋은 정보다.
2.
좋은 지표는 이해하기 쉽다.
3.
좋은 지표는 비율로 표현된다.
WHY?
a.
비율은 행동에 반영하기 쉽다.
b.
비율은 비교의 속성이 있다.
c.
비율은 다소 대조적인 요소들이나 내재된 갈등이 있는 요소들을 비교하기 좋다.
4.
좋은 지표는 행동 방식을 바꾼다.
a.
‘회계’ 지표들은 정확한 예측에 도움이 되어야 한다.
b.
‘실험’ 관련 지표들은 제품, 가격 체계, 시장의 최적화에 도움이 되어야 한다.
→ 행동이 바뀌려면 지표와 원하는 행동의 변화가 서로 관련이 있어야 한다.
c. 종종 한 쌍으로 지표를 측정한다.
→ ‘전환율’은 ‘구매시간’ 과 관련있다.
→ ‘바이럴계수’와 ‘바이럴주기’ 도 관련있다.
지표의 구분
1.
정성적 지표 / 정량적 지표
•
정성 지표 : 관찰 또는 경험 바탕 지표. 비구조적. 종합하기 어려움
•
정량 지표 : 숫자와 통계 형태 지표. 구체적. 정황 정보 부족
2.
허상 지표 / 실질 지표
실질 지표는 행동을 바꾸게 한다.
3.
탐색 지표 / 보고 지표
•
탐색 지표 : 추론 기반. 아직 알려지지 않은 내용을 찾는 목적
•
보고 지표 : 정상적. 정황을 파악하기 위한 목적
4.
선행 지표 / 후행 지표
•
선행 지표 : 미래 예측 목적. 앞으로의 조치를 취하기 위해 필요함
•
후행 지표 : 과거를 설명.
5.
상관 지표 / 인과 지표
•
상관 지표 : 두 지표 값이 함께 움직인다.
•
인과 지표 : 한 지표가 다른 지표를 변하게 한다.
모든 산업에는 KPI 라는 것이 있는데 ‘핵심 성과 지표’ 다.
정량적 지표 / 정상적 지표
정량적 데이터만을 가지고 완벽히 사업을 진행할 수는 없다. 정성적 데이터가 필요하다.
허상 지표 / 실질 지표
실행에 옮길 수 없는 데이터가 허상 지표다. 어떤 지표를 볼 때마다 ‘이 정보로 무엇을 할 수 있을까?’ 를 고민해봐야 한다.
ex) ‘ 전체 가입자 수’ : 시간이 지날수록 증가한다. → ‘우상향’ 그래프
‘ 전체 활동사용자’ : ‘전체 가입자 수’ 보다는 낫지만 별로. 시간이 흐르면서 으레 증가
‘ 페이지뷰’ : 온라인 광고에서는 중요할 수도.
‘ 방문 수’
‘ 순수 방문자 수’
‘ 팔로어/친구/좋아요 수’
‘ 사이트에 머무른 시간/페이지 수’ : 실제 인게이지먼트나 활동에 대해 알려주는 바가 거의 없음.
‘ 수집된 이메일 주소’
‘ 다운로드 횟수’ : 이것보다는 ‘활성화 수’ , ‘ 계정 생성 수’ 가 더 중요.
but, ‘활동 사용자 비율’ : 사용자들의 참여도.
‘ 특정 기간 동안 확보한 사용자 수’ : 다양한 마케팅 방식 비교할 때 유용
탐색 지표 / 보고 지표
선행 지표 / 후행 지표
둘의 사용 목적은 다르다.
선행 지표는 미래를 예측하는 데 사용된다.
ex) ‘ 현재 잠재 고객 수’ : 앞으로의 신규 고객을 얼마나 확보할지 예상 가능.
후행 지표는 문제가 있다는 것을 알려준다.
ex) ‘ 이탈률’ : 특정 기간 동안 이탈한 고객의 수
스타트업 초기에는 후행 지표만으로도 괜찮지만, 어느 정도 데이터가 쌓이면 선행지표가 더 유용하다. 일정 기간 코호트 분석을 하고 여러 고객군을 비교할 수 있어야 한다.
어떤 경우에는 회사 안에서 어떤 부서의 후행 지표가 다른 부서의 선행 지표가 될 수 있다.
상관 지표 / 인과 지표
엄격한 인과관계가 없는 단순한 상관관계를 참고하면 잘못된 결정을 내릴 수 있다.
또한 100% 완벽한 인과관계를 알아내기는 힘들다. 여러 개의 독립 지표를 찾을 수 있고 이 각각의 지표는 종속 지표가 왜 그렇게 움직이는지 부분적으로 ‘설명’ 해 준다.
인과관계를 입증하려면 상관관계를 찾고, 변수를 통제하면서 차이를 측정하는 실험을 한다.
상관관계를 알면 도움이 되고 인과관계는 상관관계보다 더 도움이 된다.
A/B 테스트와 다변량 테스트
코호트 분석은 종단적 연구다. 자연스러운 수명 주기에 따라 데이터를 수집하기 때문.
반대로 횡단적 연구는 테스트 대상인 그룹들에게 동시에 서로 다른 경험을 하게 한다.
이렇게 A/B 테스트가 횡단적 연구라고 생각하면 된다.
테스트하고 싶은 것이 많을 때 동시에 수행하는 분석이 다변량 분석이다. 다변량 분석은 어떤 것이 핵심 지표의 개선과 강한 상관관계가 있는지 알아보기 위해 분석을 수행한다.