質問
多変量テストの場合、パターン数が多くなり正確な検証結果が得られないことを懸念しています。
回答
多変量テストのパターン数が多い場合には、2回のフェーズに分けて実施することを推奨しています。
数百～数万通りのパターンを同時にテストするのは現実的ではありません。
その場合、まずは各要素ごとにそれぞれクリエイティブの比較を行い、効果の悪いクリエイティブを足切りした後に、残ったクリエイティブで組み合わせてテストを行います。
この方法を用いることで、個別の効果を計測しながらも、組み合わせの効果までを加味した最も優れたパターンを見つけることが可能になります。
例えば、5要素5クリエイティブのテストでサイトへの流入数が5万UU有る場合には、それぞれの組み合わせのパターンにつき「50000UU/3125=16UU」が割り振られることになります。
これだけを見ると、全くUUが足りていないように思えますが、多変量テストを2つに分割することにより、フェーズ1の段階では各クリエイティブの個別の効果が分かれば十分です。
全ての組み合わせで考えると1パターン16UUですが、1番目の要素のクリエイティブが5つある場合には、他の要素が何であれ、5つのに割り振られるUU数はそれぞれ10000あります。
各要素のCVRが他の要素のクリエイティブによる影響を受けないと仮定するならば、この方法で個別の効果を考えることが可能です。
※ここで重要なことは、必要なUU数に影響を与えるのは、要素内のクリエイティブ数であって、要素数ではないということです。
また、フェーズ1を通して効果の悪いクリエイティブを足切りする際には、フェーズ2に残る組み合わせの数が10~20程度に抑えて下さい。こうして残った組み合わせをフェーズ2で比較し、最も優れたパターンを見つけます。