定量調査

優先順位づけ: 定性で見つかった複数の問題に規模を付け、着手順を決める。
効果検証: 施策前後の指標を比較し、変化があったかを判断する。
監視: 主要指標を継続測定し、劣化に早く気づく。

概要

定量調査の価値は、規模と比較にある。「この問題は起きている」ではなく「対象ユーザーの何割に起きている」「先月より増えている」という形で扱えるため、投資判断の材料になる。

一方で、測定できるのは事前に定義した指標だけである。ログには「なぜそこで止まったか」は記録されない。想定外の問題は、定量調査では原理的に見つけにくい。

有意差は重要度ではない: サンプルが十分大きければ、実務的に無意味な差でも統計的に有意になる。効果量と併せて判断する。
相関を因果として語らない: 「機能Xを使うユーザーは継続率が高い」は、機能Xが継続を生んだことを意味しない。もともと熱心なユーザーが使っている可能性がある。
回答者は偏る: アンケートに答えるのは、答える動機がある人である。母集団を代表しているとは限らない。
数値だけでは施策が決まらない: 「完了率が低い」の対処は、簡略化かもしれず、説明の追加かもしれず、その機能の廃止かもしれない。理由の把握には定性が要る。

問題や仮説が既に特定されていて、その規模や優先度を判断したい時。施策の前後で変化があったかを確かめたい時。

定量調査は「測ると決めたもの」しか測らない。設問や指標の設計が誤っていれば、精度の高い誤答が返ってくる。また数値は理由を説明しないため、単独では施策を決められないことが多い。