A/Bテストの必要サンプル数・差の確認

基準率と検出したい差を入力すると、A/Bテストの必要標本数が分かります。

  1. 基準率と差を入力
  2. 標本数を確認
  3. 条件を保存
ブラウザ内で計算 個票の入力なし 解析は同意後
さっそく使う ↓
標本カードのように、条件と結果を並べる。

READ THE QUESTION FIRST

先に、知りたいことを選びます。

まだ実験を始める前なら「必要標本数」。実験が終わって集計済みなら「終了実験の確認」。前者は基準率と検出したい差などの想定条件、後者はAとBの成功数・母数を入力します。

CARD A / DESIGN

この差を確かめるには、何件必要?

SPECIMEN A

条件を採取

A–01

率は「10.2」のようにパーセントで入力します。MDEはAからBまでの差です。

FIELD NOTE / LOCAL ONLY

条件を手元に残す

集計数と設定は「この条件を保存」を押した場合に、このブラウザのlocalStorageへ保存します。アクセス解析を許可した場合は閲覧や操作の種類を送りますが、入力値や計算結果は送りません。

METHOD / SCOPE

このノートの読み方

必要標本数を決めるときは、検出したい最小の差を先に選びます。基準率10.2%から絶対差3ポイントなら13.2%ですが、相対差3%なら10.506%です。有意水準5%・検出力80%はこのノートの初期値で、どの実験にも当てはまる推奨値ではありません。事業上意味のある差と実験条件に合わせて決めてください。

01

区間は「揺れ」を残す

終了実験では、B−Aの率差と、指定した有意水準に対応するWald信頼区間を表示します。区間が0をまたぐときも、勝者を断定しません。

02

小さな標本では区間を表示しない

各群の母数が30以下、または成功・失敗が5未満の群では正規近似のため表示不可とします。別の厳密法を装って補いません。

03

入力は集計値だけ

ユーザー単位のデータ、配信、広告API、追跡は扱いません。保存はボタンを押したときだけで、削除も同じ画面からできます。