目次：読みたい項目を選ぶ
全体像・読み進め方を確認する
20項目を調べて一つだけ差が出たとき、その一つだけを見てよいか。独立を仮定した確率の計算、期待件数との違い、探索と確認を分ける図解で論証の範囲を点検します。
この記事を読む3ステップ
最初に全体像をつかみ、必要なところから読めます。
結果の前に、いくつ調べたかを確認する
ある施策の効果を20種類の指標で調べ、そのうち一つに差が出たため「効果が証明された」と発表したとします。差が出た一つだけを見るのと、20種類を調べた事実も含めて読むのでは、偶然の結果をどの程度疑うべきかが変わります。比較や検定を繰り返すときの、この全体の扱いが多重比較・多重検定の問題です。
本記事は統計的な根拠を読む補助学習です。GMAPの公式問題や出題範囲の保証ではありません。実在の調査結果も扱いません。まず単純化した自作例で計算し、その仮定が現実では成り立たない場合も整理します。
自作の前提：本当は差がない項目を20個調べる
すべての項目で、本当は差がないと仮定します。一つの検定は、この条件で誤って差があると判定する確率が5%になるよう設計されているとします。さらに、20個の検定結果は互いに独立だと仮定します。この二つの前提を省くと、以下の計算をそのまま使うことはできません。
一つで誤判定がない確率は95%。20個すべてで誤判定がない確率は0.95の20乗で、約35.8%です。少なくとも一つ誤判定が出る確率は、その反対なので1−0.95の20乗、約64.2%になります。5%を20倍して100%とする計算ではありません。
細部は図を左右に動かして確認できます。
図の内容を文章で読む
回数が増えると「少なくとも一つ」の確率が上がる
| 独立な検定の数 | 少なくとも一つ誤判定する確率 |
|---|---|
| 1 | 5.0% |
| 5 | 約22.6% |
| 10 | 約40.1% |
| 20 | 約64.2% |
約64.2%を「この発見が誤りである確率」と言い換えない
ここで求めたのは、すべてに本当は差がないという条件を置いたとき、20回の中に少なくとも一つ誤判定が混ざる確率です。実際に差が出た特定の結果について、それが誤りである確率を求めたわけではありません。条件を置く向きが違います。
現実の結果には、本当に差のある項目も含まれるかもしれません。調べた数だけを見て「全部偶然だから無価値」と決めるのも飛躍です。何をどれだけ調べ、結果をどう選び、どんな前提や補正を使ったかを確認し、結論の強さを調整します。
期待件数1件は、必ず1件出る意味ではない
20個のそれぞれで誤判定の確率が5%なら、誤判定の期待件数は20×0.05＝1件です。これは繰り返したときの平均的な件数を表し、この一回で必ず1件出るという意味ではありません。0件の場合も、2件以上の場合もあります。
期待件数は、各検定の誤判定確率が同じ5%であれば、独立でなくても足せます。一方、「どれも誤判定しない」を掛けて0.95の20乗にする計算には、ここで置いた独立の条件が必要です。平均の計算と、少なくとも一つの確率の計算で必要条件が違う点を押さえます。
例えば20個が実質的に同じデータ・同じ判定の繰り返しなら、独立した20回ではありません。どれか一つが誤判定する確率を、独立の例の64.2%と断定できません。似た指標を並べただけの表でも、重なりや依存関係を確認する必要があります。
探索してから確認するなら、同じデータの使い回しに注意
幅広く調べる探索自体には、次に検証する仮説を見つける価値があります。問題は、探索後に選んだ結果を、最初から一つだけ確認すると決めていたかのように扱うことです。「差の出た指標だけを後から選んだ」という経緯を明示し、確認に必要な手順を分けます。
細部は図を左右に動かして確認できます。
図の内容を文章で読む
候補を見つける段階と、確かめる段階を分ける
例えば探索で見つけた一つの指標について、判定方法を定めて新しいデータで確認する方法が考えられます。ただし、新しいデータなら必ず正しいとはいえません。測定方法、対象者、標本数、他の条件の違いも確認します。また、新しいデータを見て再び指標を選び直せば、確認のつもりが探索に戻ります。
補正は「比較の数を無視しない」ための方法
一つの例がボンフェローニの考え方です。20個をまとめた誤判定の確率を5%以下に抑えたい場合、各検定の水準を0.05÷20＝0.0025、つまり0.25%にします。各検定がその水準を適切に守る条件の下で、全体の確率を上から抑える方法です。この上限の考え方には、検定同士の独立は必要ありません。
ただし、水準を厳しくすると本当の差を見つけにくくなることがあります。また、何を一つの比較の集まりと扱うかを、都合のよい結果が出た後で決めるべきではありません。比較の目的やデータの構造に応じた方法が必要で、常にこの補正だけが最適という意味ではありません。
NISTの解説も、個別の比較を繰り返したときに全体の水準がそのまま保たれるわけではないこと、方法によって特徴が違うことを説明しています。本記事は統計解析の代行や、医療・投資などの実務判断を推奨するものではありません。
文章を読むときの点検：一つの成功の周りを見る
- いくつの指標・対象群・期間を調べたかを探す。
- 結果を見る前に決めた比較か、後から選んだ比較かを分ける。
- 5%などの数字が、一回の水準か全体の水準かを確認する。
- 独立、全項目で差がない等の前提を、実際の事例へ勝手に追加しない。
- 発見の候補、追加確認された結果、因果の証明を別々に扱う。
確認のために比較の数を5個へ変えると、同じ独立の仮定では1−0.95の5乗＝約22.6%になります。20個の約64.2%より低いものの、5%そのものではありません。一つずつは同じ判定方法でも、全体として読む必要がある理由を、自分の言葉で説明してみてください。
確証バイアスは都合のよい情報を重視する判断の偏り、生存者バイアスは観測される対象の偏りを扱います。本記事の中心は、比較を繰り返す仕組みが誤判定の機会を増やす点です。似た注意喚起として一括せず、何が増え、何が選ばれたかを特定します。
次の学習と確認資料
都合のよい証拠の選び方 ／ 少なくとも一つを余事象で計算 ／ 独立と排反の違い
考え方を確認したら、問題・解説の見本、登録不要の無料6問を確認できます。教材条件は料金ページで確認してください。
この記事の図・数値・ケースは編集部独自の学習用です。公式問題や過去問の再現ではなく、出題頻度や合格を保証しません。当サイトは非公式の対策サービスです。
確認資料：NIST：Multiple comparisons（2026年10月21日確認）。図解と練習例は当編集部が別途作成しています。
確認資料：NIST：Bonferroni method（2026年10月21日確認）。図解と練習例は当編集部が別途作成しています。
6問・12分で、CTの6領域を体験する
6領域から各1問を解き、正誤・所要時間・解説を確認できます。6問では能力やランクを判定しません。30問・60分の通し模試はCTパックに含まれます。無料お試しは登録不要。希望する方は登録後に結果を保存できます。
有料模試の独自スコアは学習用の参考指標であり、本番の予測点・合否判定ではありません。無料6問では能力判定・推定スコア・ランクは表示しません。
▶ GMAP-CT 無料6問を試す（12分）※本サイトは独立した非公式の試験対策コンテンツであり、株式会社グロービス／GMAPの公式サービスとは関係ありません。試験の形式や出題範囲は実施回・実施企業により異なる場合があります。