多変量テスト

概要

A/Bテストは「ページ全体としてどちらが良いか」を比べる。多変量テストは「どの要素がどれだけ効いたか」を分けて見る。

例えば見出し・画像・CTA文言をそれぞれ2案用意すると、組み合わせは2×2×2で8パターンになる。各パターンに統計的な判断ができるだけのサンプルが必要になるため、同じ検出力を得るのにA/Bテストより大幅に多いトラフィックが要る。

UXでの活用

• 要素の寄与の把握: 「勝ったパターン」ではなく「効いた要素」が分かるため、他ページへの転用がしやすい。
• 交互作用の発見: 単体では効かないが、特定の画像と組み合わせた時だけ効く文言、といった関係を検出できる。
• 設計判断の蓄積: 要素単位の知見はデザインガイドラインに落とし込める。

誤用・混乱

• トラフィック不足での実施: 十分なサンプルがないまま実施すると、偶然の差を「勝ち」と判定してしまう。実施前に必要サンプル数を見積もる。
• 多重比較の問題: パターン数が増えると、どれかが偶然有意になる確率が上がる。有意水準の調整を行わないと、偽陽性を採用しやすい。
• 有意差＝ビジネスインパクトではない: 統計的に有意でも、効果量が小さければ実装コストに見合わないことがある。
• A/Bテストの上位互換ではない: 目的が「どちらを採用するか」だけなら、A/Bテストのほうが速く確実である。