[A/B 테스트 특강] A/B 테스트 설계 및 진행 방법

"감"이 아닌 실험으로 의사결정하기

A/B 테스트 필요성 및 실험 설계, 분석 시 주의점

제품 개선 시 개인의 감이나 의견만으로 판단하지 않고,
사용자의 실제 행동 데이터를 기반으로 의사결정

구분	핵심 내용
A/B 테스트란?	두 개 이상의 대안을 비교해 어떤 안이 더 나은 성과를 내는지 확인하는 실험
A/B 테스트 필요성	주관적 판단이 아니라 데이터 기반으로 의사결정하기 위해 필요
실험 설계	목표, 가설, 대조군/실험군, 성공지표, 보조지표, 가드레일지표를 정의
실험 분석	전환율, p-value, 신뢰구간 등을 통해 결과의 유의성을 판단
한계	실험 결과가 항상 정답은 아니며, 맥락과 해석이 함께 필요

A/B 테스트는 제품 의사결정에서
가설을 "검증"하고, 더 나은 선택을 하기 위한 방법

---

1. A/B 테스트란?

두 개 이상의 안을 사용자에게 나누어 보여주고, 어떤 안이 더 좋은 성과를 내는지 비교하는 실험

보통 기존안을 A안, 변경안을 B안으로 두고, 두 그룹의 사용자 행동 차이를 비교

구분	의미	예시
A안	기존 버전 또는 대조군	기존 상품 상세 화면
B안	변경 버전 또는 실험군	구매 버튼을 더 강조한 상품 상세 화면
비교 기준	성과를 판단할 지표	구매 전환율, 클릭률, 장바구니 담기율 등

핵심 내용
A/B 테스트는 단순히 무엇이 더 예쁜가를 보는 것이 아니라,
사용자가 실제로 어떤 행동을 더 많이 하는가를 확인하는 과정!

---

2. A/B 테스트의 필요성

사용자는 PM이나 디자이너가 예상한 방식으로만 행동하지 않는다.
그래서 실제 사용자의 행동을 비교하고 확인하는 과정이 필요

필요성	설명
주관적 판단 보완	팀 내부 의견이나 감이 아니라 실제 사용자 행동으로 판단
리스크 감소	전체 사용자에게 바로 적용하기 전, 일부 사용자 대상으로 영향을 확인 가능
성과 검증	변경안을 정식 출시 하기 전에 실제로 전환율, 클릭률, 구매율 등에 영향을 주는지 확인 가능

예시
결제 고객 이탈률이 증가한다는 문제가 있을 때,
원인 분석 및 가설 수립한 사안을 바로 실제품에 적용하기보다
여러 대안을 실험해 실제 개선 효과를 비교 확인한다.

---

3. A/B 테스트의 단계

실험 목적부터 지표, 대상, 기간, 분석 방식까지 사전에 설계

단계	내용
1. 목표 설정	실험을 통해 무엇을 확인하고 개선할지 정의
2. 가설 설정	어떤 변경이 어떤 결과를 만들 것인지 예측
3. A/B 그룹 설정	대조군과 실험군을 나누어 동일 조건에서 비교
4. 실험 설계	대상, 기간, 지표, 샘플 사이즈 등을 결정
5. 실험 실행	설계한 조건에 따라 사용자 그룹별 해당 안을 노출
6. 데이터 분석	결과 지표를 비교하고 통계적으로 유의한 차이가 있는지 확인
7. 결과 도출	실험 결과를 바탕으로 적용, 보류, 재실험 여부를 결정

---

4. 실험 계획 설계 시 유의점

실험 설계가 모호하면 결과가 나와도 해석하기 어렵고, 의사결정으로 연결하기 어렵다.

---

목표와 가설

목표는 추상적으로 정하지 않는다.
e.g) "더 좋아지게 한다" -> 어떤 지표를 얼마나 개선할 것인지로 구체화

구분	예시
목표	상품 상세 페이지에서의 구매 전환율 3% 상승
가설	장바구니/구매 버튼을 페이지 최하단에 배치하는 대신, 플로팅 버튼으로 상시 확인이 가능하도록 변경하면 구매 전환율이 오를 것이다.

---

성공지표 / 보조지표 / 가드레일지표

실험을 설계할 때는 성공 여부를 판단할 지표를 미리 정해야 한다.

성공 여부를 판단할 지표를 실험 진행 전에 미리 수립
하나의 성공지표만 보면 다른 부작용을 놓칠 수 있기 때문에 보조지표, 가드레일지표를 함께 설정

지표	의미	예시
성공지표	실험의 성공 여부를 판단하는 핵심 지표	구매 전환율 3% 상승
보조지표	성공지표를 보완해 해석을 돕는 지표	페이지 체류시간, 장바구니 담기율
가드레일지표	실험이 부정적인 영향을 만들지 않는지 확인하는 지표	상세페이지 이탈률, 상품 환불률, 장바구니/구매 버튼 오류율, CS 증가 여부

c.f)
성공지표가 좋아졌다고 실험이 항상 성공한 것은 아니라는 것을 주의해야 한다.
구매 전환율이 올랐더라도, 가드레일지표인 환불률이나 CS가 함께 증가했다면, 그 실험은 재판단이 필요

🧐 실험 재판단을 하는건 구체적으로 어떤 방식일까..?

---

샘플 사이즈

샘플이 너무 작으면 결과가 우연인지 실제 발생한 차이인지 판단하기 어려움
실험에 필요한 최소 표본 수를 계산하고, 충분한 기간 동안 데이터를 수집해야 한다.

🧐 최소 표본 수를 계산하는 방법은 무엇일까? 어떤 기준으로 잡아야 할까?

---

5. 실험 진행 시 유의점

사용자 그룹을 공정하게 나누고, 실험 기간 동안 조건이 흔들리지 않게 관리해야 한다.

항목	설명
무작위 할당	A그룹과 B그룹에 사용자를 랜덤하게 배정해 비교 조건을 맞춘다
동일한 실험 조건	실험군과 대조군은 변경 요소 외에는 동일한 조건이어야 한다
충분한 실험 기간	요일, 시즌, 이벤트 등 외부 요인의 영향을 고려해 기간을 설정한다
중간 결과 해석 주의	실험 초반 결과만 보고 성급하게 종료하거나 결론 내리지 않는다 (끝까지 진행한다!)

🧐 동일한 실험 조건이란?
랜덤한 사용자 배정이라는 환경에서 동일한 조건이 가능한걸까?
(사용자 국가, 연령대, 사용 목적 등을 동일하게 맞춰야 한다는걸까?)

🧐 요일, 시즌, 이벤트 등 외부 요인의 영향을 고려해 기간을 설정한다는건 구체적으로 어떤 의미인가?
예시 사례를 많이 찾아봐야겠다..

 

---

6. 실험 결과 분석 시 유의점

실험 결과를 볼 때는 단순히 A안보다 B안의 숫자가 높다는 것만으로 A안이 더 나은 안이라고 판단해서는 안된다.

---

전환율

전환율 계산
전환율 = 전환한 사용자 수 / 노출된 사용자 수

🧐 노출 수 대비 전환 수는 전환율로 삼을 수 없을까? 한 사용자가 여러번 전환된 것은 실험의 결과에 해당하지 않는걸까?

---

p-value

보통 “두 버전의 전환율 차이는 없다”를 귀무가설로 두고 실험 결과를 해석
*귀무가설 : “A안과 B안 사이에 실제 차이가 없다”는 기본 가정
실험 결과가 우연히 발생했을 가능성을 판단하는 데 사용
차이가 없다는 가정하에서, 이런 결과가 얼마나 드문지

기준	해석
p-value < 0.05	통계적으로 유의미한 차이가 있다고 판단할 수 있다
p-value > 0.05	차이가 우연일 가능성이 있어 유의미하다고 보기 어렵다

p-value 계산 방법

보통 A/B 테스트 시스템을 자체적으로 개발, 구축하기도 하지만
Hackle 등 테스트 플랫폼을 활용하여 실험의 유익성을 분석하기도 함
그 외에는 직접 계산하여야 한다.

 

단계	내용
1	A안과 B안의 전환율을 구한다
2	두 전환율의 차이를 계산한다
3	이 차이가 우연히 발생할 수 있는 정도인지 통계 검정을 한다 (계산 사이트 활용)
4	그 결과로 p-value가 나온다

참고) p-value 계산 사이트

P-값 계산기

 

핵심 내용
“A안과 B안에 원래 차이가 없다고 가정했을 때,
지금 관찰된 차이가 우연히 나올 확률은 얼마나 될까?”

예시)
p-value = 0.03

해석)
A안과 B안에 실제 차이가 없다고 가정했을 때,
테스트 결과와 같은 전환율 차이가 우연히 나올 가능성은 약 3%다.

0.05보다 작을 경우,
“우연이라고 보기엔 가능성이 낮다 → 통계적으로 유의미한 차이가 있다”고 판단

---

신뢰구간

신뢰구간은 실험 결과가 어느 범위 안에서 나타날 가능성이 높은지 보여준다.
전환율 같은 하나의 숫자만 보는 것이 아니라, 그 결과가 얼마나 안정적인지 함께 판단하기 위한 기준

핵심 내용
실험은 전체 사용자가 아니라 일부 사용자만 대상으로 하기 때문에, 표본에 따라 결과가 조금씩 달라질 수 있다.
만약 B안의 95% 신뢰구간이 10.5%~13.5%라면, B안의 실제 전환율은 대략 그 범위 안에 있을 가능성이 높다고 해석할 수 있다.
신뢰구간이 좁으면 결과가 비교적 안정적이라는 뜻이고, 신뢰구간이 넓으면 결과가 아직 많이 흔들릴 수 있다는 뜻이다.
보통 실험 대상자가 많아질수록 신뢰구간은 좁아지고, 결과에 대한 확신도 커진다.

신뢰구간 계산 방법

신뢰구간 = 전환율 ± Z값 × 표준오차

보통 A/B 테스트 시스템을 자체적으로 개발, 구축하기도 하지만
Hackle 등 테스트 플랫폼을 활용하여 실험의 유익성을 분석하기도 함
그 외에는 직접 계산하여야 한다.

 

참고) 신뢰구간 계산 사이트

신뢰 구간 계산기 | 계산기 & 툴

 

---

7. A/B 테스트의 한계

한계	설명
새로운 아이디어를 알려주지 않는다	A/B 테스트는 이미 준비된 대안 중 무엇이 나은지 비교할 뿐, 새로운 아이디어를 만들어주지는 않는다
맥락 없는 해석은 위험하다	숫자가 좋아졌더라도 왜 좋아졌는지, 장기적으로도 좋은지 해석이 필요하다
실험 설계가 잘못되면 결과도 왜곡된다	대상, 기간, 지표, 샘플 수가 적절하지 않으면 잘못된 결론을 낼 수 있다

---

추가로 알아두면 좋은 A/B 테스트 실무 유의사항

구분	핵심 내용
변경 대상	하나의 테스트에서는 하나의 변경 요소만 테스트
영향도	목표 지표에 큰 영향을 줄 수 있는 요소를 테스트
그룹 할당	처음에는 랜덤 배정, 한 번 배정되면 실험 종료까지 동일 그룹 유지
중단 기준	성공 지표가 나쁘다는 이유만으로 중단하지 않음. 가드레일 지표 악화 시 중단 고려

---

하나의 테스트에서는 하나의 변경 대상만 테스트

A/B 테스트의 목적은 무엇 때문에 결과가 달라졌는지 확인하는 것이다.

그래서 하나의 실험에서는 하나의 변경 요소만 테스트하는 것이 좋다.

핵심 내용
여러 요소를 한 번에 바꾸면 결과가 좋아져도 무엇이 원인이었는지 알기 어렵다.
A/B 테스트는 많은 것을 한 번에 바꾸는 실험이 아니라, 하나의 가설을 명확히 검증하는 실험이다.

---

성공 지표가 나쁘다고 바로 중단하지 않기

실험을 진행하다 보면 기대했던 성공 지표가 잘 나오지 않을 수 있다.

성공 지표가 개선되지 않는 것 자체도 중요한 실험 결과이기 때문에,

성공 지표가 좋지 않다는 이유만으로 실험을 조기 종료하면 안 된다.

상황	판단
성공 지표가 기대만큼 나오지 않음	계획한 기간까지 실험 진행
가드레일 지표에 심각한 문제 발생	실험 중단 및 원인 파악 고려

주의
실험 중간에 성공 지표를 바꾸는 것도 피해야 한다.
처음 정한 기준을 중간에 바꾸면, 실험 결과를 객관적으로 해석하기 어려워진다.

---

실험 그룹은 한 번 배정되면 끝까지 유지

사용자는 실험 기간 동안 같은 그룹에 계속 속해야 한다.

첫날 A그룹에 배정된 사용자가 다음 날 B그룹으로 바뀌면, 사용자가 두 버전을 모두 경험하게 되어 실험 결과가 섞일 수 있다.

상황	판단
성공 지표가 기대만큼 나오지 않음	도중에 성공 지표를 바꾸지 않고, 계획한 기간까지 실험 진행
가드레일 지표에 심각한 문제 발생	실험 중단 및 원인 파악 고려

---

QnA

질문	답변 정리
서로 다른 기능끼리도 A/B 테스트를 할 수 있을까?	가능은 하다. 다만 하나의 변수로 비교할 수 있어야 한다. A기능과 B기능이 너무 다른 성격이라면, 결과가 좋아졌을 때 무엇이 원인인지 해석하기 어려울 수 있다.
내부 직원 데이터는 어떻게 제외할 수 있을까?	IP, 브라우저 ID, 디바이스 ID, 실험 플랫폼에서 부여한 사용자 ID 등을 기준으로 제외할 수 있다. 특히 트래픽이 적은 서비스에서는 내부 직원의 QA 데이터가 실험 결과를 왜곡할 수 있어 필터링 여부를 확인해야 한다.
아웃라이어는 언제 제외해야 할까?	명백히 비정상적인 데이터라면 제외를 검토할 수 있다. 예를 들어 하루에 수만 번 접속하는 크롤링 봇처럼 일반 사용자 행동으로 보기 어려운 데이터가 해당된다. 다만 애매한 기준의 아웃라이어는 서비스 특성과 분석 목적에 따라 판단해야 한다.
트래픽이 적은 서비스도 A/B 테스트를 해야 할까?	트래픽이 너무 적으면 충분한 샘플 사이즈를 확보하기 어렵다. 이 경우 A/B 테스트보다 사용자 인터뷰, 사용성 테스트, 정성 리서치가 더 적합할 수 있다.
실험 중 다른 기능 개발이나 배포를 해도 될까?	실험에 영향을 주지 않는 영역이라면 가능하다. 예를 들어 홈 화면에서 A/B 테스트가 진행 중이라면, 같은 홈 화면에 영향을 주는 배포는 피하는 것이 좋다. 반면 회원가입, 마이페이지처럼 실험과 무관한 지면의 작업은 병행할 수 있다.
여러 A/B 테스트를 동시에 진행해도 될까?	가능하다. 다만 서로 영향을 주는 실험인지 확인해야 한다. 홈 화면 실험과 상세 페이지 실험이 동시에 진행될 수는 있지만, 두 실험이 같은 사용자 행동 흐름에 영향을 준다면 결과 해석에 주의가 필요하다.
실험 결과가 검증되면 기존 참여자를 제외하고 배포해야 할까?	보통은 기존 실험 참여 여부를 크게 고려하지 않고 전체 사용자에게 배포한다. 위너 그룹이 결정되면 해당 안을 100% 롤아웃하는 방식으로 진행할 수 있다.

 

---

 

정리

주제	핵심 질문
A/B 테스트의 필요성	이 의사결정은 감이 아니라 데이터로 검증할 수 있는가?
실험 설계	목표, 가설, 지표, 대상, 기간이 명확한가?
실험 실행	사용자 그룹이 공정하게 나뉘었고, 조건이 동일하게 유지되는가?
결과 분석	차이가 실제로 의미 있는 차이인가?
한계	숫자만 보고 맥락을 놓치고 있지는 않은가?

최종 정리
A/B 테스트는 제품을 더 잘 만들기 위한 실험이라는 것을 명심

중요한 것은 어떤 안이 이겼는지보다,
어떤 가설을 검증했고, 그 결과로 어떤 의사결정을 할 수 있는지