レポートガイド

レポートガイドとは

ここではDLPOのレポートの見方、レポート表示項目のチェックポイントの説明を行います。
各機能の詳細は「レポートとは」または「レポート詳細」をご覧ください。

レポートの見方

1．レポートを開く

DLPO管理画面の「キャンペーン」タブを開き、キャンペーングループ一覧にてレポートを見たいキャンペーンの アイコンをクリックしてください。
または「レポート」タブをクリックすると、別タブにレポート一覧が表示されます。一覧より対象キャンペーンの アイコンをクリックしてください。
いずれも、対象キャンペーンのレポート詳細画面が表示されます。（「キャンペーン」タブからの遷移では、レポート詳細画面は別タブに表示されます）
※「キャンペーン」のキャンペーングループ一覧にて「レポート一覧表示」が の場合、「レポート」のキャンペーングループ一覧には表示されません。「レポート」のキャンペーングループ一覧に表示する場合は に設定してください。

図１ー１：レポートを開く（「キャンペーン」タブより）

図１－２：レポートを開く（「レポート」タブより）

レポート詳細画面では、画面上部にレポートの表示条件「レポート期間」「ビューセット」が表示され、その下に表示条件に基づいた「レポート」が表示されます。
レポートは、エリア毎に表示形式が設定された「ビュー」と、ビューの集合である「ビューセット」で構成されています。

図１－３：レポートの構成

2．レポートの表示設定

(1)レポート期間の確認
画面上部に表示されている「レポート期間」を確認してください。
変更する場合は日付または アイコンをクリックしてください。

(2)ビューセットの確認
ビューセットが正しく選択されているかを確認してください。
以前設定したはずのビューが見当たらない場合、違うビューセットが選択されている可能性があります。

図１－４：表示設定の確認

3．ビューの確認

エリア毎に作成された「ビュー」は、「ビュー種別」により表示項目が異なります。
同一エリアでも「ビュー種別」を切り替えることで、多様なレポートを表示することができます。ビュー種別の詳細は「レポート詳細」をご覧ください。

期待通りのレポートが表示されていない場合は、「ビュー種別」を変更してください。また「ビュー設定」にてビュー種別毎の詳細設定を変更することができます。
ここでは、クリエイティブAとクリエイティブBのCVRを比較する、基本的なレポート「クリエイティブ」をビュー種別に設定する方法を説明します。

(1)ビュー種別の設定
「ビュー種別」プルダウンより「クリエイティブ」を選択してください。

図１－５：ビュー種別の設定

(2)ビュー設定の編集
ビュー見出しにある アイコンをクリックし、「ビュー設定」を表示してください。
ビュー設定の「データ選択」にてレポートに表示するデータに関する設定を変更することができます。「クリエイティブ」レポートにてよく使用する項目は「セグメント」と「CVポイント」です。

図１－６：ビュー設定「データ選択」

またビュー設定では「描画設定」にてテーブルやグラフの表示に関する設定を変更することができます。「クリエイティブ」レポートにてよく使用する項目は「グラフの位置」と「サムネイル」です。
※クリエイティブのサムネイルは、クリエイティブ設定より登録することができます。詳細は「クリエイティブ設定とは」をご覧ください。

図１－７：ビュー設定「描画設定」

ビュー設定にて設定が完了しましたら、「登録」をクリックしてください。
ビュー設定の設定内容がレポートに反映されます。

【注意事項】

ビューセット、ビューの設定を変更した場合、変更内容を維持するためには必ず「表示設定」の「ビューセット」にて「名前をつけて保存」もしくは「上書き保存」をクリックして保存してください。
ビューセットまたはビューの設定後、ビューセットを保存しないでレポートを閉じると、次回レポート表示時にはビューとビューセットがリセットされますのでご注意ください。各ビュー、ビューセットで設定を変更し登録(保存)した内容は変更後にレポートを表示している間だけ有効です。

図１－８：「表示設定」の「名前をつけて保存」

名前をつけて保存したビューセットはプルダウンより選択できます。ビューセットは用途に応じて作成、保存しておくと便利です。

図１－９：「ビューセット」プルダウン表示

レポート表示項目

レポートは「ビュー種別」および「ビュー設定」の設定内容により異なりますが、「テーブル」「グラフ」「コメント」「サムネイル」にて表示が構成されます。

ビュー種別毎の表示項目の詳細は「レポート詳細」をご覧ください。

レポートのチェックポイント

■CVRの誤差

CVRの誤差はレポートの棒グラフではグレーの細い線で表されています。

図２：CVRの誤差

「誤差」とは？
テストで計測されたCVRは、ある限られた期間に限られた数のユーザーを対象として計測されたCVRです。そのため測定値には常に不確かさが含まれ、真の値とは一致しません。DLPOではこの測定値と真値との誤差を±で表しています。つまり、誤差は「CVRが測定値から上下にブレる可能性がある範囲」とお考えください。

誤差を小さくするには？
サンプル数（UU数）が増えるほど誤差は小さくなります。どの程度のサンプル数が必要かは「ABテストの必要サンプル数とテスト期間」をご覧ください。

■改善率

改善率は、基準パターン(デフォルト)と比較してCVRが改善した割合です。

図３：改善率

上の例の場合、下記のように言えます。
新規LPのCVR＝26.00％は、既存LPのCVR＝20.68％と比較して、25.72％改善している。
※基準パターン（デフォルト）よりCVRが低い場合、改善率はマイナスになります。

■改善信頼度と非チャンプ率

改善信頼度と非チャンプ率は、どちらもテストの結果やテスト終了時期を判断する際に用いる指標です。

　図４：改善信頼度と非チャンプ率

改善信頼度：基準パターン（デフォルト）よりもCVRが高くなる（改善する）確率
改善信頼度が90％以上で「デフォルトに対して勝ちである」と判断することが多いです。判定の基準を95％以上に引き上げれば判断の確からしさは増しますが、その分だけ必要なサンプル数が増え、テスト期間も長くなります。テストの精度を重視するかスピードを重視するかによって、基準を選んでください。

非チャンプ率：チャンピオンに負ける確率（チャンピオンではない確率）
非チャンプ率が90％以上で「そのクリエイティブはチャンピオンではない」と判断することが多いです。テストクリエイティブが多い場合は「チャンピオンではない」と判断したものを順次配信停止していき、CVRが高いものに配信を絞り最終的にチャンピオンを決めるという進め方をすることもあります。

※テスト開始直後は、サンプル数が少ないために数値が大きく揺れます。本当は差がない場合でも、日々の変動でたまたま90％を超える瞬間が訪れることがあります。改善信頼度が早い段階で90％以上になったとしても、その時点では判断せず、テストに必要な期間とサンプル数を満たすまで実行することをおすすめします。

改善信頼度・非チャンプ率の計算方法については「統計的な有意差の判断ロジック」をご覧ください。

■テストに必要な期間、サンプル数

テスト結果を判断するのに必要な期間、サンプル数として下記を目安としています。

【期間】
・2週間以上（曜日によるCVRの変動を含めるため）
・6週間以内（テスト外の要因が結果に混入しにくい範囲として）

【1パターンあたりのCV数】
必要なCV数は、現状のCVRの高さではなく「どれくらいの改善幅を判断したいか」で決まります。

CV30件は「これを下回るデータは判断に用いない」という下限であり、目標値ではありません。まずは100件を目標に置き、流入・CVに余裕のあるページでは250件を狙ってください。

【1パターンあたりのUU数】
必要なUU数は、上記のCV数を対象ページの現状のCVRで割って求めます。CVRが低いページほど多くのアクセスが必要になります。

CVR別の必要UU数の一覧、10〜20％の小さな改善を判断する場合の目安、サンプル数が足りない場合の対処については「ABテストの必要サンプル数とテスト期間」で詳しく解説しています。