#536
テスト・評価
#536とうけいてきゆういせい
統計的有意性
別名・表記:Statistical Significance統計的有意差有意差p値
UIXHERO Definition
UIXHEROでは、統計的有意性を「観測された差が、偶然のばらつきだけで生じたと考えるには起こりにくい、と判断できる状態」と定義する。
概要
統計的検定は「本当は差がない」と仮定した時に、観測されたような差（またはそれ以上の差）が偶然生じる確率を計算する。この確率がp値である。p値が事前に決めた基準（有意水準、慣習的に0.05が使われることが多い）を下回った時、「統計的に有意」と表現する。
重要なのは、p値が「仮説が正しい確率」ではない点である。米国統計学会も2016年の声明で、p値の誤用について注意を促している。
UXでの活用
- 判断の線引き: 施策を採用するかどうかを、担当者の印象ではなく事前に決めた基準で判断できる。
- 必要期間の見積もり: 検出したい差の大きさから、事前に必要サンプル数を計算できる。これを怠ると、結論の出ないテストに時間を使うことになる。
- 効果量との併記: 「有意差あり（CVR +0.3pt、95%信頼区間 +0.1〜+0.5pt）」の形で報告すると、意思決定に必要な情報が揃う。
誤用・混乱
- 覗き見（peeking）: 有意になるまで毎日結果を確認して、有意になった時点で止める運用は、偽陽性を大幅に増やす。停止条件は開始前に決める。
- 有意でない＝差がない、ではない: サンプルが不足しているだけかもしれない。「差が検出できなかった」が正確な表現である。
- 多重比較: 多数の指標やセグメントを比べれば、どれかは偶然有意になる。事前に主要指標を1つ決める。
- 有意水準0.05に理論的根拠はない: 慣習的な基準であり、意思決定の重要度によって変えてよい。
💡 使いどころ
A/Bテストや多変量テスト、アンケートの群間比較で、観測された差を採用判断の根拠にしてよいかを検討する時。
⚠️ 注意点・誤用
有意差があることは「差が実務上重要である」ことも「効果が大きい」ことも意味しない。またサンプルが十分に大きければ、ごくわずかな差でも有意になる。効果量と信頼区間を併せて見る必要がある。
具体例
- A案とB案のCVRの差が、事前に決めた有意水準を下回るp値で観測された
- 十分なサンプルが集まる前に結果を確認し、判断を保留する
- 有意差は出たが、効果量が0.2ポイントのため実装コストに見合わないと判断する
出典・参考文献:
- Trustworthy Online Controlled Experiments (Ron Kohavi, Diane Tang, Ya Xu)
- Quantifying the User Experience (Jeff Sauro, James R. Lewis)
- ASA Statement on p-Values and Statistical Significance (American Statistical Association, 2016)