はじめに
ABテストを企画する際によくいただくご質問に、「どれくらいのアクセスやCVが集まれば、結果を信じてよいのか」というものがあります。
本ページでは、テストの結果を判断するために必要なCV数・UU数と、テスト期間の目安を解説します。テストを開始する前にご確認いただくことで、「走らせたものの結論が出ないまま終わってしまった」という状況を避けられます。
判定に用いる「改善信頼度」の計算方法そのものについては、統計的な有意差の判断ロジック をご参照ください。
1. 必要なCV数は「得たい改善幅」で決まります
最初に押さえていただきたいのは、必要なCV数は現状のCVRの高さにほとんど左右されないという点です。決まるのは「どれくらいの改善幅を判断したいか」によります。
| 得たい改善幅（オリジナルに対する相対値） | 必要CV数（1パターンあたり） |
|---|---|
| ＋10% | 約950件 |
| ＋15% | 約430件 |
| ＋20% | 約250件 |
| ＋30% | 約120件 |
| ＋50% | 約45件 |
目安の計算式
必要CV数 ≒ 9 ÷（得たい改善幅）2
例）20%の改善を判断したい → 9 ÷ 0.22 ＝ 約250件
ここでいう「得たい改善幅」とは、これ以上の改善があれば施策を採用したい、という最小の幅です。「これくらい改善しそう」という期待値ではありません。高く設定するほど必要なCV数は少なくて済みますが、実際の効果がその幅を下回った場合、結論が出ないまま終わることになります。
2. 必要なUU数は現状のCVRによって変わります
必要CV数を、対象ページの現状のCVRで割ると、必要なUU数が求められます。CVRが低いページほど、同じ判断をするために多くのアクセスが必要になります。
1パターンあたりに必要なUU数
| 現状のCVR ＼ 得たい改善幅 | ＋10% | ＋20% | ＋30% | ＋50% |
|---|---|---|---|---|
| 0.5% | 約188,000 | 約49,000 | 約23,000 | 約9,000 |
| 1% | 約94,000 | 約25,000 | 約11,000 | 約4,500 |
| 2% | 約46,000 | 約12,000 | 約5,600 | 約2,200 |
| 5% | 約18,000 | 約4,700 | 約2,200 | 約850 |
| 10% | 約8,500 | 約2,200 | 約1,000 | 約400 |
いずれも1パターンあたりの数値です。オリジナルと検証パターンの2パターンでテストする場合、テスト全体ではこの約2倍が必要になります。
つまり「CVRが低いから判定できない」のではなく、「必要なUUを集めるのに時間がかかる」というのが正確な理解になります。母数をご検討の際は、まずCV数で考え、そこからUU数と期間に換算していただくと見通しが立ちやすくなります。
3. 母数の目安
DLPOでは、1パターンあたりのCV数について次の三段階を目安としてご案内しています。
| 1パターンあたりCV数 | 判断できる改善幅 | 位置づけ | |
|---|---|---|---|
| 下限 | 30件 | 約60%以上 | これを下回るデータは判断に用いないという線引きです。ファーストビューの全面刷新やオファー変更など、大きく変えた施策の当たり外れを見極める用途では機能します。 |
| 現実的な目標 | 100件 | 約30%以上 | 多くのページで現実的に到達できる水準です。施策の方向性を決めるには、まずここを目標に置いてください。 |
| 理想 | 250件 | 約20%以上 | 改善施策の採否を安定して判断できる水準です。月間の流入・CVに余裕のある主要ページで狙います。 |
10〜20%の小さな改善を積み重ねたい場合も、母数を確保すれば判断できます。＋15%なら約430件、＋10%なら約950件が1パターンあたりの目安です。
CV30件を下回る場合は、数値を読まずに設計そのものを見直すことをおすすめします（対処は「6. 母数が足りない場合」をご覧ください）。
4. テスト期間の目安
下限は2週間です
- 曜日によってユーザー層と行動が変わるため、平日と週末を最低2周期含める必要があります
- 変更直後は、見慣れないという理由だけで反応が変わることがあります（新奇性効果）。この影響は数日から1週間で薄れます
- 広告出稿やメール配信など、他施策の影響を平準化するためにも一定の期間が必要です
上限は6週間程度を目安としてください
- 同じユーザーが両方のパターンに触れる機会が増え、Cookie削除やデバイス変更によって振り分けの純度が下がります
- 季節性やキャンペーンなど、テスト外の要因が結果に混入しやすくなります
- 6週間かけても結論が出ない場合は、期間を延ばすのではなく設計を見直してください
5. 判定基準
DLPOのレポートに表示される 改善信頼度90%以上 を、判定の目安としてご案内しています。より確実に判断されたい場合は95%以上をご利用ください。基準を上げるほど、必要な母数は増えます。
| 判定基準 | ＋20%の改善を判断する場合の必要CV数（1パターン） |
|---|---|
| 改善信頼度90%以上 | 約250件 |
| 改善信頼度95%以上 | 約340件 |
改善信頼度の定義と計算方法は、統計的な有意差の判断ロジック をご参照ください。
6. 母数が足りない場合
必要な母数に届かないときは、「とりあえず走らせて様子を見る」のではなく、設計を変えて判断できる状態をつくります。
① 変更を大胆にする
ボタンの色ではなく、ファーストビューの訴求そのものを差し替えます。必要CV数は改善幅の二乗に反比例するため、得たい改善幅を30%から60%に引き上げると、必要CV数は約120件から約35件へと3分の1以下になります。
② パターン数を2つに絞る
A/B/Cテストは1パターンあたりの母数が3分の2に減ります。まずA/Bで方向を確かめ、勝った方向を次のテストで深掘りするほうが、同じトラフィックで多くを学べます。
③ CVに近い中間指標で判定する
最終CVではなく、フォーム開始・入力完了・資料ダウンロードなど発生件数の多い指標で判定します。発生件数は5〜20倍になることが多く、到達できる水準になります。ただし中間指標の改善が最終CVに結びつくとは限らないため、最終CVは監視指標として並行してご確認ください。
④ 対象をページ横断でまとめる
同じテンプレートを使う複数ページを1つのテストにまとめ、トラフィックを合算します。個別ページの最適化はできませんが、テンプレート単位の知見が早く得られます。
7. テストを設計する際の注意点
主要指標は事前に1つだけ決めてください
複数の指標を見比べて良い数字を採用すると、偶然の変動を改善効果と誤認しやすくなります。他の指標は「悪化していないか」を確認するための監視指標として扱ってください。
開始前に終了予定日を決め、途中で変更しないでください
テスト中の数値は絶えず揺れています。毎日結果を確認し、改善信頼度が基準に届いた時点で止めるという運用は、偶然その水準を跨いだ瞬間を切り取ることになり、誤った判定につながります。
期間中に確認していただきたいのは、次の3点のみです。
- 全パターンがPC・スマートフォンで意図どおり表示されているか（開始当日）
- 各パターンへの配信数が想定比率どおりか（開始翌日）
- 主要指標が正しく計測されているか（開始翌日）
本ページの数値は、改善信頼度90%以上・検出力80%（改善が実在するときにそれを判断できる確率）を前提とした、2標本比率の差の検定に基づく概算値です。