USE CASE / PLANNING
CTA文言を比べるとき、必要標本数を先に決める
ボタンの文言を変えるA/Bテストを例に、「どの程度の差を拾いたいか」から必要な集計数を見積もります。以下は手順を示すための架空データで、実在の企業や実験結果ではありません。
目的と架空の条件
商品紹介ページのCTAを「資料を見る」から「詳しく見る」に変える案を考えます。Aの基準率を10.2%と仮定し、運用上意味のある最小差を絶対差3ポイントと置きます。両側の有意水準を5%、検出力を80%に設定します。
入力する条件
Aの率：10.2% ／ Bの想定率：13.2% ／ 差の表し方：絶対差（ポイント）／ 方向：増加／ 有意水準：5% ／ 検出力：80%
Aの率：10.2% ／ Bの想定率：13.2% ／ 差の表し方：絶対差（ポイント）／ 方向：増加／ 有意水準：5% ／ 検出力：80%
ツールでの手順
- 比較実験ノートを開き、「必要標本数」タブを選びます。
- 基準率に「10.2」、検出したい差に「3.0」を入力します。
- 差の表し方は「絶対差（ポイント）」、方向は「増加」を選びます。
- 有意水準「5」、検出力「80」を確認して計算します。
期待される結果
このノートの計算では、A・Bそれぞれ1,801件、合計3,602件が必要と表示されます。端数は各群で切り上げます。これは、設定した条件と近似式に基づき、3ポイント差を検出する計画を立てるための標本数です。結果が必ず差を示す保証ではありません。
| 絶対差 | 想定B率 | 各群 | 合計 |
|---|---|---|---|
| 2ポイント | 12.2% | 3,902件 | 7,804件 |
| 3ポイント | 13.2% | 1,801件 | 3,602件 |
| 4ポイント | 14.2% | 1,050件 | 2,100件 |
この表は同じ計算モジュールに基準率と絶対差を入れて得た値です。小さい差まで見つける設計ほど、必要数が増えます。差を大きく置けばよいという意味ではなく、事前に「その差なら施策を変える価値があるか」を決めるための比較です。
読み違えを防ぐ
- 絶対差と相対差を区別する。基準率10.2%に絶対差3ポイントを足すと13.2%です。一方、相対差3%の想定率は10.506%です。
- 設定値は実験前に定める。有意水準5%・検出力80%は画面の初期値であり、すべての用途で適切とは限りません。有意水準と検出力の意味はstatsmodelsの2群比率の検出力資料も参照してください。
- 件数はユーザー数ではなく対象に合わせる。この計算は独立した2群の比率を想定し、実験配信や重複ユーザーの処理はしません。
適用範囲と制約
このサイトは独立2群・同数割付・両側検定の正規近似を用います。実験途中の繰り返し確認を補正する逐次検定、連続性補正、実験配信、訪問者単位の割付は扱いません。入力と計算はブラウザ内で行います。架空例を実際にExcelや外部実験環境で実行したものではありません。
標本数を決めたら、先に決めた終了条件まで集計し、運用上意味のある差かどうかも合わせて判断します。
次に読む：信頼区間が出ない・0をまたぐとき · 記事・ガイド一覧
参考：statsmodels｜独立2群比率の検出力と両側代替仮説。掲載した具体的な数値は、本サイトの計算ツールの現行計算モジュールで再現しています。