「デザイナーの勘」と「HiPPO（最も給料の高い人の意見）」——これがUI改善の判断基準になっていないか？
ボタンの色を変えたい。レイアウトを変更したい。コピーを書き直したい。どちらが良いか、会議で議論しても答えは出ない。「青の方がクリックされそう」「いや、オレンジの方が目立つ」——こんな議論に何時間も費やしていないか。
答えはユーザーの行動にある。議論ではなく、実際にユーザーに両方を見せて、どちらが目的を達成するかを測定する。これがA/Bテストだ。
1. 手法の定義
2つ以上の異なるバージョン（A案・B案）をユーザーにランダムに表示し、どちらがより効果的かを統計的に検証する定量評価手法。
「感覚」ではなく「データ」で意思決定する。コンバージョン率、クリック率、離脱率など、具体的な指標で優劣を判断する。
2. いつ使うか
適している場面
- 2つの案で迷っている時: ボタンの色、レイアウト、コピー
- 変更の効果を数値で証明したい時: ステークホルダーを納得させる
- 継続的に改善したい時: データドリブンな意思決定文化
- リスクを最小化したい時: 全ユーザーへの展開前に検証
向いていない場面
- 「なぜ」を知りたい時: → ユーザビリティテスト
- トラフィックが少ない時: 統計的有意差が出るまでに時間がかかりすぎる
- 根本的なリデザインを検討している時: → まずユーザーインタビューで仮説を立てる
- 複数要素を同時に変更したい時: → 多変量テスト（MVT）を検討
3. 設計判断の核
A/Bテストは最適解を直接見つける手法ではない。「2つの案のどちらが良いか」を判断する手法である。
よくある誤解
A/Bテストを回せば、最高のデザインが見つかる。
実際
A/Bテストは「A案とB案のどちらが良いか」しか答えられない。そもそもA案もB案も悪ければ、勝者を選んでも改善にはならない。良い仮説がなければ、良いA/Bテストはできない。
設計判断の基準
- 「仮説は明確か？」→ 「B案の方がコンバージョン率が高い、なぜなら○○だから」
- 「指標は1つに絞れているか？」→ 複数指標を追うと解釈が難しくなる
- 「サンプルサイズは十分か？」→ 統計的有意差を出すには一定のトラフィックが必要
4. 調査タイプ
| 軸 | 内容 |
|---|---|
| データ | 定量 |
| 対象 | 行動（クリック、コンバージョン、離脱などの実際の行動） |
| サンプル | 数千〜数万（統計的有意差に必要。少ないサンプルでは偶然のブレが大きく、正しい判断ができない） |
| 実施フェーズ | Design / Deliver |
手法のポジション
深さ（Why）
↑
ユーザーインタビュー
↑
ユーザビリティテスト
↑
A/Bテスト ← ここ（行動で検証）
→ 規模（How many）
A/Bテストは最も規模が大きく、行動を直接測定できる。ただし「なぜその行動をしたか」は分からない。
補足: A/Bテストで得られるのは「行動（クリック、コンバージョン）」の結果。「なぜそちらを選んだか」を知るには、ユーザビリティテストやインタビューが必要。
5. 実施プロセス
1. 仮説設計
- 変更点: 何を変えるか（1つだけ）
- 指標: 何を測定するか（主指標は1つ）
- 仮説: なぜB案が良いと考えるか
- 成功基準: どれくらいの差があれば成功とするか
2. テスト設計
- サンプルサイズ計算: 必要なトラフィック量を事前に計算
- 期間設定: 曜日変動を考慮し、最低1週間
- セグメント: 新規/既存、デバイス、地域などで分けるか
3. テスト実施
実施時の注意
- 途中で変更しない: テスト中にA案やB案を修正しない
- 途中で判断しない: サンプルサイズに達するまで待つ
- 複数テストの干渉: 同時に複数テストを走らせる場合は影響を考慮
4. 分析
- 統計的有意差の確認: p値 < 0.05 が一般的な基準
- 実用的有意差の確認: 統計的に有意でも、ビジネスインパクトが小さければ意味がない
- セグメント分析: ユーザー層によって結果が異なるか
代表的な指標
| 指標 | 説明 | 用途 |
|---|---|---|
| コンバージョン率（CVR） | 目標達成の割合 | 購入、登録、申込み |
| クリック率（CTR） | クリックの割合 | ボタン、リンク、CTA |
| 離脱率 | ページを離れる割合 | ランディングページ |
| 滞在時間 | ページにいる時間 | コンテンツ |
※ 指標は1つに絞る。複数追うと解釈が複雑になる。
6. 実務チェックリスト
最低ライン（Must - これがないと失敗）
理想ライン（Better - プロの品質）
7. 関連リンク
関連するUXリサーチ手法
- ユーザビリティテスト — 「なぜ」を理解する
- サーベイ — 態度を定量で把握
- アクセス解析 — 行動データを継続的に追う
関連するUX心理
関連する用語
まとめ
A/Bテストは最適解を直接見つける手法ではない。2つの案のどちらが良いかを、行動データで判断する手法である。A/Bテストは仮説の検証手法であり、仮説を生み出す手法ではない。インタビューで仮説を作り、ユーザビリティテストで問題を発見し、A/Bテストで改善案を検証する——これがUXリサーチの基本サイクルだ。
