A/B TESTING FIELD NOTE NO.60

差を見つけたら、
区間まで記録する。

比較実験の「どれだけ集めるか」と「どれくらい揺れるか」を、ひとつの標本カードに。勝敗ではなく、次の判断に使える見取り図をつくります。

ブラウザ内で計算 集計値のみ 自動送信なし
標本カードのように、条件と結果を並べる。

READ THE QUESTION FIRST

先に、知りたいことを選びます。

まだ実験を始める前なら「必要標本数」。実験が終わって集計済みなら「終了実験の確認」。どちらも、AとBの集計値だけで動きます。

CARD A / DESIGN

この差を確かめるには、何件必要?

SPECIMEN A

条件を採取

A–01

率は「10.2」のようにパーセントで入力します。MDEはAからBまでの差です。

FIELD NOTE / LOCAL ONLY

条件を手元に残す

集計数と設定だけを、このブラウザのlocalStorageへ明示的に保存します。自動送信・解析・ログインはありません。

METHOD / SCOPE

このノートの読み方

01

区間は「揺れ」を残す

終了実験では、B−Aの率差と、指定した有意水準に対応するWald信頼区間を表示します。区間が0をまたぐときも、勝者を断定しません。

02

小さな標本には注記を出す

各群の母数が30以下、または成功・失敗が5未満の群では正規近似のため表示不可とします。別の厳密法を装って補いません。

03

入力は集計値だけ

ユーザー単位のデータ、配信、広告API、追跡は扱いません。保存はボタンを押したときだけで、削除も同じ画面からできます。