[개인 프로젝트] 장바구니 담기 전환 데이터 분석 & 개선안 제안 - 7) 피드백 반영해보기

 

과제 최종 결과물

[20260617]_권민정__장바구니_전환율_개선_제안 (1).pdf

7.82MB

 

 

 

 

 

과제 개요

PDP에서 장바구니 담기로 이어지는 전환율을 높이기 위해,

데이터를 기반으로 문제를 정의하고 개선안을 제안

 

어떤 사용자의 어떤 행동이 장바구니 전환과 연결되는지 데이터를 통해 확인하고,
그 결과를 바탕으로 핵심 문제 정의, 가설 수립, MVP 실험 설계까지 진행

 

프로젝트 회고 글

---

 

 

튜터님 피드백 

한줄 요약

과제의 논리 흐름과 완성도는 좋았지만,
데이터 분석의 엄밀성, 실험 설계의 통제 조건, 산출물의 분량 조절을 더 보완하면 좋다.

 

전체 요약

구분	핵심 내용
전체 평가	전체적으로 논리성과 완성도가 높았음
잘한 점	가설을 우선순위화하고 최종 해결방안으로 수렴시킨 논리적 흐름이 좋았음
잘한 점	KPI 목표 수치를 계산 과정과 연결한 점이 좋았음
잘한 점	A/B 테스트 타겟팅 조건을 사전에 식별 가능한 정보로 설정한 점이 좋았음
개선할 점	이상치 처리 기준이 명확히 보이지 않았음
개선할 점	표본 수가 작은 세그먼트에 대한 해석이 다소 단정적이었음
개선할 점	리뷰 클릭의 자기선택 편향을 실험 설계에서 어떻게 통제할지 부족했음
개선할 점	기획서라기보다 분석 보고서에 가까울 만큼 분량이 길었음

---

잘한 점

1) 가설을 우선순위화하고 최종 해결방안으로까지 논리적으로 수렴한 점

 

과제에서 세운 4가지 가설 :

가설	성격
리뷰 진입 버튼 강화	빠른 실험
상품 정보를 구매 판단 순서로 재구성	UX/UI 수정
리뷰를 구매 판단 질문 중심으로 재배치	UX/UI 수정
고가 패션 상품 구매 리스크 점검 모듈 추가	신규 기능

 

1. 각 가설별 기대 효과 및 목표 수치 논리적 수립
2. 각 가설별 사용자 경험 / 비즈니스 관점 한계점 정리
3. 각 가설별 구현 난이도 및 임팩트 평가를 통한 최종 해결방안 1개 도출

 

튜터님 피드백 
- R4개 가설을 Impact-Effort 매트릭스로 정리해서 최종 해결방안 1개로 수렴시킨 흐름이 좋습니다. 그리고 그 과정에 특별하게 논리적 비약 등이 없었습니다. 합리적으로 잘 기준 세워주신 것 같아요.

 

---

 

2) KPI 목표 수치를 계산 과정과 연결한 점

 

과제에서 제시한 목표 수치 산정 과정 :

항목	계산
현재 fashion 장바구니 담기 수	80명 × 32.5% = 26명
bag 수준 전환율 적용 시	80명 × 41.8% = 약 33명
예상 추가 장바구니 담기 수	약 +7명

 

목표 수치가 단순한 희망치가 아니라, 데이터와 계산을 통해 어느 정도 설명

 

튜터님 피드백
- KPI 목표 수치에 계산 과정이 잘 보입니다. fashion 카테고리를 bag 수준 전환율로 끌어올린다고 가정하면 80명×41.8%≈33명, 현재 26명 대비 +7명이라는 계산을 보여주셨는데, 이 +7명을 전체 페르소나 A(205명) 기준으로 환산하면 약 +3.4%p로, 최종적으로 제시하신 "+3~5%p" 목표와 실제로 연결됩니다. 가정이라는 점을 명시하면서도 숫자 사이의 연결고리를 보여준 부분은 아주 잘하셨습니다!

---

 

3) A/B 테스트 타겟팅 조건을 사전에 식별 가능한 정보로 설정한 점

 

A/B 테스트 설계에서 실험 대상을
페르소나 A 중 30만 원 이상 고가 패션 상품 PDP 방문자로 설정

=> 이 조건은 가격대와 카테고리를 기준으로 하기 때문에 실험 시작 전에 사전 타겟팅이 가능함

 

조건	사전 식별 가능 여부
30만 원 이상 상품	가능
패션 카테고리 상품	가능
페르소나 A 조건	가능
리뷰 클릭 여부	실험 중 발생하는 행동이므로 사전 조건 해당 X

 

실험 전에 알 수 있는 정보와 실험 중 발생하는 행동을 구분한 점은 잘 처리된 부분

 

튜터님 피드백
- A/B테스트 내에서도 페르소나 A와 30만 원 이상 고가 패션 상품이라는 타겟팅 조건은 모두 실험 시작 전에 알 수 있는 정보(가격대, 카테고리)라 사전 타겟팅이 가능한 부분이고, 이 점은 잘 처리되어 있습니다.

---

 

개선할 점

1) 이상치 처리 기준을 명시했어야 한다

체류시간 데이터 분석 내용

 

데이터 전처리 기준 없음 !!

pdp_duration_sec(PDP 체류시간) 데이터 분석 => 체류시간 데이터는 극단값이 발생하기 쉬운 변수라는 점 염두 필요

예를 들어 사용자가 페이지를 켜둔 채 다른 일을 하거나,
브라우저 탭을 열어둔 상태로 오래 방치하면 실제 탐색 시간보다 훨씬 긴 체류시간이 기록될 수 있다.

(실무에서 그렇게 호되게 당해놓고 또 망각 ^_ㅠ..)

 

이상치를 어떤 기준으로 판단했는지,
그리고 이상치 처리 전후 데이터 건수가 어떻게 달라졌는지 명시하지 않음

 

튜터님 피드백
- 이상치 처리 기준이 보이지 않습니다. pdp_duration_sec처럼 극단값이 나올 수 있는 변수에 대해 이상치를 어떤 기준(percentile-백분위 등)으로 판단했는지, 처리 전후 데이터 건수가 어떻게 달라졌는지에 대한 언급이 없습니다. 추출 기준 섹션에 이 부분을 한 줄이라도 추가하면 좋겠습니다.

++ 추가
너무 분포가 클 경우 평균값 대신 중앙값 사용을 하기도 한다.

 

 

피드백 반영 해보기 

항목	추가할 내용
이상치 판단 기준	예: 상위 1%, 99 백분위수 초과값 제외
처리 방식	trimming / winsorizing * winsorizing : 극단적인 값들을 지정한 백분위수 기준으로 대체(Capping)하는 통계적 기법 이상치 제거(Trimming)와의 차이: 이상치를 아예 데이터셋에서 삭제(Truncate)하지 않고, 하한선 및 상한선 안쪽의 가장 가까운 값(특정 백분위수)으로 값만 변경합니다. 데이터 보존: 데이터의 크기(Sample size)와 자유도를 그대로 유지할 수 있습니다.
처리 전 데이터 수	예: 전체 205건
처리 후 데이터 수	예: 이상치 제외 후 n건
해석 영향	이상치 처리 후에도 같은 경향이 유지되는지 확인

 

인사이트
분석 결과만 보여주는 것이 아니라 그 결과가 만들어지기 전의 처리 기준도 함께 보여줘야 한다!

---

 

2) 작은 표본에 대한 해석을 더 조심해야 한다

 

가설 검증 보조 지표

 

PDP 체류시간 분석에서 3분 이상 체류 그룹은 총 14명뿐이었고, 그들의 전환율은 28.6%였다.
이를 보고 “오래 머문 사용자는 탐색 피로가 발생했을 가능성이 있다”고 해석

=> 표본이 작은 경우에는 해석을 단정적으로 쓰기보다, 불확실성을 함께 언급해야 한다.

 

튜터님 피드백
- 3분 이상 체류 그룹은 14명밖에 안 되는데, 이 결과를 근거로 "탐색 피로"라는 비교적 단정적인 해석을 끌어내신 부분이 있습니다. 28.6%라는 전환율이 14명 중 4명에서 나온 숫자라는 점을 고려하면, 표본이 작아 해석에 불확실성이 크다는 점을 같이 언급해주시면 좋겠습니다.

 

 

피드백 반영 해보기 

기존 해석	개선 표현
3분 이상 체류 사용자는 탐색 피로로 전환율이 낮아진다	3분 이상 체류 그룹은 표본이 14명으로 작아 해석에 주의가 필요하다. 다만 긴 체류가 항상 전환으로 이어지지는 않을 가능성을 시사한다.
오래 머문 것이 구매 확신이 아니라 고민으로 이어졌다	오래 머무른 사용자가 필요한 정보를 찾지 못했을 가능성은 있으나, 추가 검증이 필요하다.

 

인사이트
앞으로는 표본 수가 작은 세그먼트를 해석할 때
“가능성이 있다”, “시사한다”, “추가 검증이 필요하다” 등 단정 짓지 않는 표현으로 사용해야겠다.

 

❓ 추가 질문 사항
불확실성이 큰 경우, 이를 어떻게 해석 (So What) 하고 어떤 액션으로 이어져야 할지 명확하게 생각이 나지 않습니다.
불확실성이 커서, 이 데이터가 해석 및 액션에 미치는 영향도를 최소화 해야 한다든지, 가정을 하고 검증을 통해 확인을 한다든지, 
혹은 다른 방향성이 있을지 궁금합니다!

=> 튜터님 답변
이 피드백은 불확실성에 대한 피드백이라기보다, 표본 수 자체가 작아 확대 해석의 여지가 있다는 점이었다.
따라서, 표본 수가 너무 작을 경우에는 일반화 해도 되는지에 대한 여부를 확인하기 위해 추가적인 사이드 테스트 / 조사를 진행하기도 한다. 

---

 

3) 리뷰 클릭의 자기선택 편향을 실험 설계에서 통제해야 한다

 

리뷰 클릭/미클릭 사용자 선택 편향성 언급

 

 

 

이미 구매 의도가 높은 상태의 사용자가 구매 의사를 확정하기 위해 리뷰를 살펴 보았을 가능성 명시

-> 자기선택 편향 가능성을 인지

-> 실험 설계에서 이를 어떻게 통제할지는 충분히 다루지 못함

 

튜터님 피드백
- 리뷰 클릭 자체의 자기선택 편향 가능성을 인지 하시긴 했는데… 이를 실험 설계에서 어떻게 통제할 것인지에 대한 언급이 없습니다. 리뷰를 클릭한 사람이 이미 구매 의도가 높았을 가능성이 있다면, 리뷰 버튼을 강화하거나 리뷰를 재배치했을 때 실제로 신규 전환이 생기는 것인지, 아니면 원래 전환할 사람들이 리뷰도 더 보게 되는 것뿐인지 구분하기 어려울 수 있습니다. 이 부분을 리스크나 한계점 섹션에 추가하면 좋았을 것 같아요.

 

 

피드백 반영 해보기 

보완 방향	예시	의미
사전 구매 의도 proxy 통제 * 직접 알 수 없는 것 대신 추정 신호	찜 여부, 이전 PDP 방문 수 등	이미 상품 구매 의사가 어느 정도 있는 사용자
리뷰 노출 전후 행동 분리	리뷰 영역 도달 전 장바구니 클릭과 리뷰 확인 후 장바구니 클릭 구분	리뷰 영역 클릭 후 장바구니 담기 -> 리뷰가 구매 판단에 영향
신규 리뷰 확인 행동 측정	원래 리뷰를 보던 사람이 더 본 것인지, 원래 안 보던 사람이 보게 된 것인지 구분	1) 원래 리뷰 보던 사람만 더 많이 봄 -> 접근성 개선은 되었지만 신규 효과 약함 2) 원래 리뷰 안보던 사람도 리뷰를 봄 -> 리뷰 접근성 개선 효과가 더 명확함 3) 리뷰 본 후 장바구니 전환율도 증가 -> KPI 연결 가능

 

인사이트
데이터 분석 단계에서 편향 가능성이 발견 되었다면, 
실험 설계에서 그 편향을 어떻게 줄일지까지 연결해야 한다!

---

 

4) 기획서와 분석 보고서의 균형을 조절해야 한다

 

이번 제출물 분량 총 37페이지 .... 막판에 시간이 없어서 다듬기 정리를 아예 못함 유유

돌이켜보면 데이터 분석 과정, 원인 분석, 가설 설명을 모두 상세히 담다 보니
기획 의사결정보다는 분석 과정 자체가 많이 드러난 것 같다.

튜터님 피드백
- 기획서라기보다는 조금 더 보고서나 분석 문서 같은 경향이 있었습니다! 꼼꼼하게 집중하시다보니 이렇게 된 것 같은데요! 다음 개인과제는 더 데이터가 많아서 37페이지 이상으로 나올 수 있는데, 분량도 한 번 더 고민해보시면 좋을 듯 합니다. 바쁜 와중에도 아주 높은 완성도로 잘 해주셨어요 ㅎㅎ

 

 

피드백 반영 해보기 

문서 목적별 구성 정리해보기...

분석 보고서	데이터 분석 과정, 해석, 근거를 자세히 기록
기획 제안서	문제 정의, 핵심 인사이트, 해결안, MVP, 실험 설계 중심
발표 자료	핵심 문제와 의사결정 흐름 중심으로 압축

 

1. 목표 KPI
2. 핵심 데이터 인사이트 3개
3. 최종 문제 정의
4. 해결방안 후보 및 우선순위
5. 최종 개선안
6. MVP 실험 설계
7. 기대 효과 및 리스크

❓ 추가 질문 사항
기획 제안서의 경우 위와 같이 구성을 정리하면 좋을까요?!
또, 지금 저의 과제 결과물에서 생략해도 될 섹션을 꼽아주신다면, 어떤 것이 있는지 궁금합니다!

=> 튜터님 답변
지금 과제 결과물에서 생략할 내용은 전혀 없고, 오히려 추가되어도 된다.
다만, 상위 기획서와 세부 기획서의 내용이 혼합된 하나의 문서 형태라 분량이 긴 것이니
두 파트로 나눠서 문서 제작을 하고 공유 하면 더 좋을 듯.
이번 과제 결과물은 굳이 분류해보자면 상위 기획서 성격이 더 강하니, 다음 과제는 세부 기획서 성격으로 진행해봐도 좋을 것 같다!

---

 

❓추가 질문
최종 해결 방안의 창의성 / 임팩트 측면에서는 어떤지 궁금합니다!
평소 스스로 창의성 부분에서 자신이 없어서 ㅠㅠ 조금 더 혁신적인(?) 공격적인(?) 아이디어를 제시하는게 좋을지 .. 등등

=> 튜터님 피드백
너무 창의성에 목마르지 않아도 된다. 물론 창의성 있으면 좋긴 하지만, 회사마다 선호하는 바가 다르고, 기존에 있던 것을 개선하거나 고도화 하는 것을 더 우선시 하기도 한다. 이 과제의 경우 혁신적인 아이디어까지는 아니지만, 이거보다 더 창의성이 없어도 필요성이 분명하면 그 아이디어는 채택된다.