본문 바로가기

Product

[분석법] 통계학적 관점에서 바라본 A/B 테스트 해석하기 통계학 관점에서 본 a/b test 과정과 해석 방법에 대해서 설명한다. 여러 아티클 및 참고 자료를 보면서 알기 쉽게 적어보았다. [목차] 모집단과 표본집단 모집단 모수 - 편차, 표준 편차, 분산 표본집단 표본 통계량 표준 오차 검정 통계량(값)으로 통계 가설 검정하기 검정 통계량 - T-value 통계 검정 방법 T-검정(T-test) ANOVA 검정(아노바 검정) 카이제곱 검정 F검정 방법 A/B테스트에서 주로 사용되는 통계 검정법, T-test T-test란? T-test의 종류 - 독립 표본 T-test, 대응 표본 T-test T-test 관련 용어 - 신뢰도, 유의 수준 (=alpha), P-value T-test 해석하기 - 양측 검정 (같다/다르다), 단측 검정 (크다/작다) A/B 테.. 더보기
[분석법] A/B 테스트 설계 과정 (개념, 용어 정의, 실험 설계법) A/B 테스트는 어떤 기능 혹은 UI가 효과적인지 평가하기 위해서, 유저를 두 집단을 나눠 대조해 보며 분석하는 실험 기법이다. [목차] A/B 테스트란? A/B 테스트 정의 A/B 테스트 하는 이유 A/B 테스트 용어 정의 기본 차트 만들기 조건 부여하기 - 해당 연도만 보이기 조건 부여하기 - TOP 10 필터 걸기 A/B 테스트 진행 방법 A/B 테스트 진행 시기 A/B 테스트 설계 A/B TEST란? A/B 테스트 정의 앞서 언급한 것 처럼, A/B 테스트는 특정 요소의 성과를 평가하기 위해서, 유저를 두 집단을 나눠 대조해 보며 분석하는 실험 기법이다. A/B 테스트 하는 이유 A/B 테스트를 진행하는 이유는 실험을 통해서 외부 요인을 차단하고 명확하게 개선 효과를 확인하기 위해서다. 실험 없.. 더보기
[지표] 매트릭 하이라키(Metric Hierarchy)로 전사 지표 세팅하기 지표에도 위계질서가 있다. 모든 회사가 '매출'이라는 하나의 목표를 바라보고 달리지만, 단순히 매출을 올리라고 하면 어디서부터 어떻게 해야할지 막연하다. 사업 초기에 이것도 해야할 것 같고, 저것도 해야할 것 같고, 부족한 것들이 너무 많은 상황에서는 정말 뭐부터 손대야하는 지 우선순위를 설정하기 힘들다. 따라서 탄생한 개념, 메트릭 하이라키 (지표의 위계)다. 나는 감사하게도 저연차였지만 전사 지표를 셋팅하는 경험을 하게 되었다. 처음 상위 KPI 지표를 셋팅했었을 때는 너무 막연했는데, 그 때 참고했던 직접 진행했던 지표설정에 대한 경험을 풀어 도움이 되고자 한다. 매트릭 하이라키(Metric Hierarchy)란? 매트릭 하이라키란, 지표의 위계를 말한다. 즉, 매출이라는 결과 지표를 올리기 위해,.. 더보기
[분석법] 리텐션은 왜 중요하고, 어떻게 측정하면 좋은가? 리텐션이란 고객이 서비스를 다시 이용하는가를 지표로 측정하여 분석하는 것이다. 서비스를 다시 이용한다는 말은, 결국 서비스에 대해서 매력을 느꼈다는 것을 반증하기 때문이다. 매력을 느낀다는 것이 말이 쉽지, 측정하기도 올리기도 어려운 지표에 속한다. 광고비나 마케팅을 늘리면 어느정도 유입은 늘어나기도 하고, 간혹 푸시나 이메일 등으로 관심이 이어지긴 하지만 진짜 매력도를 올리지 않으면 오래가지 못한다. 따라서 우리 서비스에 맞는 리텐션의 정의와 측정 방법에 대해서 먼저 고민해야하고, 그에 적절한 솔루션을 제시할 줄 알아야한다. 리텐션 측정 기준 일반적으로 방문을 기준으로 측정하지만, 서비스마다 단순 접속만으로 리텐션 기준을 판단하기 힘들다. 특정 페이지를 N번 방문한다거나, 결제를 한다던지 등의 기준으로.. 더보기
워터폴 방식 vs 애자일 방식 (스프린트, 스크럼) 프로덕트를 개발할 때, 대표적인 두 가지 방식. 가장 기본적인 내용이지만, 워낙 설명도 방대하고 헷갈려 다시 명확하게 정리하고 실무에 적용 하고자 다시 개념정리차 작성해보는 게시글이다. 워터폴 방식 기획 - 디자인 - 개발 - QA 순으로 하나씩 순차적으로 진행되는 방법 쉽게 말하면, 기획 끝내고 디자인, 디자인 끝내고 개발, 개발 끝내고 QA 진행한다. 서비스 기획자, 디자이너, 개발자 이렇게 서로 빈번한 커뮤니케이션 없이 자기 맡은 일만 깔끔하게 잘 하면 되는 방식. 예를 들어, 상품을 등록, 수정, 삭제할 수 있는 백오피스를 개발한다는 프로젝트일 때, 등록, 수정, 삭제에 대한 모든 기획이 끝난 이후에 디자인, 개발하여 백오피스를 최종 완성한다는 개념이다. 하나의 단계가 끝난 결과물을 바탕으로 다음.. 더보기

티스토리툴바