A/B 테스트 설계하기

내용

[A/B 테스트 설계]

아래 상황에서 무엇을 어떻게 비교할지 짜줘.

① 무엇 하나만 다르게 할 것인가 (한 번에 하나만)
② 무엇을 기준으로 판단할 것인가 — 측정 가능한 지표 하나
③ 언제까지 볼 것인가, 최소 얼마나 모여야 하는가
④ 어떤 결과가 나오면 어떻게 할 것인가를 미리 정하기
⑤ 결과를 잘못 읽기 쉬운 지점

지켜줘
• 필요한 표본 수를 단정하지 말 것 — 어떻게 계산하는지만 알려줄 것
• 결과를 미리 예측하지 말 것
• 여러 개를 동시에 바꾸자고 제안하지 말 것

📌 왜 성과를 예측하지 못하게 하나
어떤 문구가 잘 먹힐지는 돌려봐야 압니다. 예측은 근거 없이도 그럴듯하게 나옵니다.
"이 헤드라인이 전환율을 높입니다" 같은 말을 믿고 예산을 쓰면 손해가 실제로 납니다.
AI 에게는 후보를 만들게 하고, 고르는 것은 사람이 데이터를 보고 하는 구조가 맞습니다.

상황:
{{INPUT}}

샘플 입력

(가상의 상황입니다)
지금 쓰는 광고: 인스타 피드 이미지 1종, 헤드라인 「출근 전 10분이면 됩니다」
바꾸고 싶은 것: 헤드라인을 숫자 없는 문장으로 바꿔보고 싶고,
              이미지도 인물 컷으로 바꿔보고 싶습니다
하루 유입: 랜딩 방문 약 120명, 구매 전환은 하루 1~3건
측정 도구: 광고 관리자 기본 리포트만 씁니다

이런 모양이면 잘 나온 것

우리가 쓴 예시입니다. 실제 실행 결과가 아니고, 답변은 매번 조금씩 다릅니다.

① 한 번에 하나만
   이번에는 헤드라인만 바꿉니다.
   이미지까지 함께 바꾸면 어느 쪽이 영향을 줬는지 알 수 없습니다.
   이미지는 다음 회차로 미룹니다.

② 판단 기준 지표 하나
   구매 전환 수를 쓰고 싶지만 하루 1~3건이라 흔들립니다.
   1차 지표를 랜딩 클릭률로 두고, 전환은 참고로만 봅니다.

③ 언제까지 / 얼마나 모여야
   필요한 표본 수는 지금 있는 값만으로 단정할 수 없습니다.
   계산에 필요한 것 — 현재 클릭률, 감지하고 싶은 변화 폭, 허용 오차
   → 이 세 값을 정한 뒤 표본 수 계산기를 쓰세요

④ 결과별 행동을 미리 정하기
   • 새 헤드라인이 뚜렷이 높으면 → 교체하고 이미지 테스트로 넘어감
   • 차이가 없으면 → 헤드라인은 원인이 아님. 이미지로 넘어감
   • 새 헤드라인이 낮으면 → 원래대로 두고 기록

⑤ 잘못 읽기 쉬운 지점
   • 며칠 만에 앞서는 것을 결론으로 삼기
   • 요일 효과 (주중·주말이 섞이지 않으면 왜곡됩니다)
   • 전환 1~3건 차이를 의미 있는 차이로 읽기

⚠️ 「최소 1,000명이면 됩니다」 같은 단정이 있으면 잘못 나온 것입니다.
⚠️ 어느 쪽이 이길지 예측했다면 잘못 나온 것입니다.

받은 답 확인하기

• 한 번에 하나만 바꾸도록 설계했는가
• 필요한 표본 수를 단정하지 않고 계산 방법을 알려줬는가
• 결과를 미리 예측하지 않았는가
• 전환 수가 적다는 점을 지표 선택에 반영했는가
• 어떤 결과가 나오면 어떻게 할지 미리 정해뒀는가

잘못 나왔을 때 이어서 보낼 말

여러 개를 동시에 바꾸는 설계면 하나만 바꾸는 것으로 다시 짜줘.
필요한 표본 수를 단정하지 말고, 어떻게 계산하는지 알려줘.
어느 쪽이 이길지 예측하지 마.