区間は「揺れ」を残す
終了実験では、B−Aの率差と、指定した有意水準に対応するWald信頼区間を表示します。区間が0をまたぐときも、勝者を断定しません。
集計数だけで、差の輪郭を読む
基準率と検出したい差を入力すると、A/Bテストの必要標本数が分かります。
READ THE QUESTION FIRST
まだ実験を始める前なら「必要標本数」。実験が終わって集計済みなら「終了実験の確認」。前者は基準率と検出したい差などの想定条件、後者はAとBの成功数・母数を入力します。
CARD A / DESIGN
CARD B / OBSERVATION
FIELD NOTE / LOCAL ONLY
集計数と設定は「この条件を保存」を押した場合に、このブラウザのlocalStorageへ保存します。アクセス解析を許可した場合は閲覧や操作の種類を送りますが、入力値や計算結果は送りません。
METHOD / SCOPE
必要標本数を決めるときは、検出したい最小の差を先に選びます。基準率10.2%から絶対差3ポイントなら13.2%ですが、相対差3%なら10.506%です。有意水準5%・検出力80%はこのノートの初期値で、どの実験にも当てはまる推奨値ではありません。事業上意味のある差と実験条件に合わせて決めてください。
終了実験では、B−Aの率差と、指定した有意水準に対応するWald信頼区間を表示します。区間が0をまたぐときも、勝者を断定しません。
各群の母数が30以下、または成功・失敗が5未満の群では正規近似のため表示不可とします。別の厳密法を装って補いません。
ユーザー単位のデータ、配信、広告API、追跡は扱いません。保存はボタンを押したときだけで、削除も同じ画面からできます。