TROUBLESHOOTING / INTERVAL
信頼区間が出ない、または0をまたぐとき
終了実験タブで率差は見えるのに区間が出ないときと、区間は出ても0を含むときは、確認する点が異なります。以下は仕組みを説明する架空の集計値です。
1. 区間が表示されない場合
このサイトは、小標本で単純な正規近似区間を表示しないルールです。各群で母数が30を超え、さらに成功数と失敗数がどちらも5以上のときだけWald区間を計算します。これは本ツールの表示条件であり、すべての統計解析に共通する十分条件ではありません。
| 群 | 成功 / 母数 | 失敗 | 本ツールの判定 |
|---|---|---|---|
| A | 1 / 10 | 9 | 母数30以下・成功5未満 |
| B | 3 / 10 | 7 | 母数30以下・成功5未満 |
この入力ではA率10%、B率30%、B−Aは+20ポイントと計算できますが、区間は表示されません。別の区間方式に自動で切り替わったわけではありません。
- 成功数が母数を超えていないか、AとBを逆に入力していないかを確認します。
- 各群の母数・成功・失敗の件数が、上の表示条件を満たすか数えます。
- 条件外なら、区間を出すためだけに架空の件数を足さず、適した方法を統計の専門家と選びます。
2. 区間が0をまたぐ場合
次の架空例は、Aが50/1,000、Bが65/1,000です。率は5.0%と6.5%、観測差は+1.50ポイントです。画面の率差表記は「%」ですが、ここでは二つの率の差をポイントで表します。
B−A：+1.50ポイント
区間：約 −0.54 〜 +3.54ポイント
区間が0を含むため、この近似区間だけから「差がある」とは言えません。一方で、率が完全に同じだと証明したことにもなりません。推定値と区間の幅を、事前に定めた判断基準や施策上の影響と合わせて読みます。NISTはWald区間の実際の被覆率が名目水準を下回る場合があると説明し、別方式も紹介しています。
3. 次にすること
- 入力した成功数・母数、成功の定義、比較する期間が揃っているか確認します。
- 実験前に終了条件を決め、結果を何度も見て都合のよい時点で止める運用は避けます。このツールは逐次検定や反復確認の補正を実装していません。
- 小標本や重要な判断では、Wald以外の区間方法や検定を含め、専門家に確認します。
この計算の範囲
率差と区間は独立した2群の集計値から計算します。個票データ、実験の割付、因果関係、事業上の勝者は判断しません。区間の方式はunpooled Waldで、連続性補正・厳密区間・逐次検定はありません。95%という値は例であり、設定を変えると区間幅も変わります。
次に読む：CTA文言の必要標本数を考える · 記事・ガイド一覧
参考：NIST｜2群の比率差の信頼区間（Wald法と注意点）。数値例は本サイトの現行計算モジュールで再現しています。