로그 설계/정의 + 데이터 분석
유저가 남긴 로그로부터 유저의 경험을 추정하고 니즈를 파악해 서비스 개선에 필요한 인사이트를 제공.
→ 로그 설계/수집/분석에 이르는 전반적인 과정에 관여
1. 서비스 이해
•
클라이언트 로그 설계
앱이나 웹상의 모든 화면, 이벤트(클릭, 배너 노출)를 상세히 파악, 시나리오와 서비스의 흐름을 이해
→ 로깅 항목을 정리
•
엔지니어 및 개발자와 협업하면서 로그 수집 진행
2. 품질 확보와 분석 프레임 설정
•
만약 로그 수집 프로세스가 처음 진행되었다면 데이터 품질을 확인하는 것이 중요하다.
수집이 잘못된 경우, 유관자와 원인을 파악하고 문제를 해결해야 한다.
•
분석 프레임 설정
목적을 명확히 설정하고 적절한 문제 정의를 내리는 것이 필요
ex ) 우아한 형제들 기술 블로그
◦
목적
▪
앱내 시나리오 및 기능을 개선할 수 있는 방안을 찾자 (궁극적으로 사용성 및 UX 개선)
◦
질문
▪
구간별 Conversion Rate(전환율)은? 어떠한 기준으로 계산할 것인가? 세션 기준? DAU(일일 활성 유저수) 기준으로?
▪
Funnel 별 이탈율은 얼마나 될까? 주요 bottleneck 구간은 어디일까?
▪
각 단계별 주요 행동 패턴은? 주로 활용되는 기능은? 세부적인 개선점은?
▪
재구매율 혹은 재방문율은 어떠한가?
▪
지표 계산 방식은? 평균 재구매 시간? 시간이 오래 걸릴수록 패널티 주는 방식은?
▪
초기 주요 인사이트 및 시사점은?
▪
분석의 한계점 및 논의/개선 필요사항은?
◦
목적
▪
전체 유저를 세분화하여 행동 패턴의 차이를 확인하자 >> 핵심 그룹 타깃팅
◦
질문
▪
지역별에 따른 유저 행동 패턴의 차이는?
▪
주간 방문수 기준으로 구분하면?
▪
주문 경험 유 vs 무 여부로 구분
▪
신규 유저 vs 기존 가입 유저의 행동 패턴의 차이는?
▪
타 플랫폼 이용 경험 유 vs 무 (디바이스 크로스)가 결제에 미치는 영향은?
▪
주문한 카테고리 (예, 시킨 것만 시키는 그룹, 바꾸는 그룹)별로 구분하면?
▪
결제시 주문 방식별 세분화? 주문 방식별로 특이한 패턴은?
▪
클릭한 배너에 따른 결제율 차이는?
3. 디테일에 목숨걸지 말것
로그 데이터를 추출하다 보면 난해한 결과가 나오는 경우가 있다고 한다. 주로 다음과 같은 원인으로 발생한다.
◦
로그 설계 과정에서 항목 누락 혹은 잘못된 필드/값 정의
◦
로그 데이터 관리 부족 (예, 업데이트된 서비스의 시나리오 및 기능을 기존 로그 설계에 반영 못했을 경우)
◦
데이터 품질 확보를 위한 노력 부족
◦
수집 과정에서 중복 데이터 발생 (아래 표 예시 참고)
→ 1~3 번은 인적요인으로 인해 발생한 것이므로 실무자와 협의를 통해서 해결하면 된다.
4번의 경우, 기계적으로 수집되는 과정에서 자연스럽게 발생할 수 있다. 이 부분은 분석 과정에서 데이터 분석가가 자체적으로 해결해도 된다.
→ 위 테이블을 그대로 읽으면, ‘UserNo가 천사(1004)인 유저가 MyPage 화면을 3초동안 5번 보았다’로 해석되는데, (유저는 기계가 아닌 인간이기에) 어떤 유저도 이런 식으로 앱을 이용하지 않을 것 같았습니다. 차라리 초(Second) 단위의 정보를 무시하고(중복 수집으로 판단), ‘2017년 5월 1일 10시 10분에 천사 유저가 MyPage를 1번 보았다’로 해석하는 것이 더 적절할 것으로 판단했습니다.
때로는 ‘이러한 방식이 세밀한 정보를 놓치는 것이 아닌가?’ 혹은 ‘너무 자의적인 해석이 아닌가?’ 라고 스스로 반문하기도 하였으나, (비록 정보 손실이 있더라도) 효율을 추구하는 동시에, 인간의 행동을 효과적으로 설명할 수 있는 해석이 타당해보였습니다.
결과적으로 기존 5개 행의 데이터를 중복으로 처리해 하나의 행으로 축약시켰으며, 유사한 데이터가 있을 경우 ‘무엇을 기준으로 중복 값을 제거하는 것이 적절한가?’에 대한 물음을 자문하며 분석을 진행했습니다. 이 과정에서 유용했던 것은 초반에 설정한 목적과 의미, 그리고 논리성과 인간을 기반으로 한 접근 방식이었던 것 같습니다.
4. 결과는 이해하기 쉽고 명확하게
분석 결과를 명확하고 간결하며, 이해하기 쉽게 전달하는 것은 매우 중요한 과정입니다. 그래야 실제적인 변화와 성과를 만들어낼 수 있기 때문입니다.
5. 로그 데이터를 잘 활용하는 방법
데이터 활용도를 높이는 것이 중요합니다.
•
개발 영역
◦
버그 혹은 크래시율 수집 및 상시 트래킹
◦
이슈 발생 후 롤백 및 대응 등에 대한 의사결정 판단의 근거로 활용
◦
특정 기능에 대한 사용성 진단
•
마케팅 영역
◦
마케팅 채널별 ROI 진단 및 비용 최적화
◦
배너/프로모션/이벤트 효과 측정
◦
유저 Segmentation, Targeting
•
기획/디자인 영역
◦
시나리오/기능/디자인에 대한 성과 측정 및 개선 (A/B 테스트)
◦
유저 Journey 경로 분석 및 이탈 구간 개선 (UX/UI 최적화)
◦
유저 Persona 구축 (with 리서치) 및 신규 기능 Ideation
•
기타 영역
◦
영업 및 CS 관련 대응
◦
사업 및 투자 성과 진단