質問
「非チャンプ率」とは何ですか？
回答
そのクリエイティブが最も効果の高いクリエイティブに負ける確率です。
【具体的な計算例】
クリエイティブAのCVR：CVR_A=10％(±1％)
クリエイティブBのCVR：CVR_B=12％(±0.5％) の場合
(1)「CVR_BとCVR_Aの差」は、
CVR_B-CVR_A=2%
(2)「『CVR_BとCVR_Aの差』の標準偏差」は、
σ(CVR_B-CVR_A)=√(0.01^2+0.005^2)=1.118%
(3)「CVR_BとCVR_Aの差が0以上になる確率」は
(1)(2)の結果とExcelのNORMDIST関数(※)を用いて
=1-NORMDIST(0, CVR_B-CVR_A,σ(CVR_B-CVR_A),TRUE)
=96.3%
この場合「96.3%」がCVR_Aの非チャンプ率となります。
※NORMDIST関数とは
平均μ，標準偏差σの正規分布において，確率変数がｘ以下になる割合（確率）を計算する関数です。
Excelでは、NORMDIST(x, μ, σ, true)の形式で入力し利用します。