追加データは常に事後分散を減少させるのか？
本記事では、追加のデータが常に不確実性を減らすとは限らないという問題をベイズの観点から考察する。一般に新しい情報は推定対象に関する不確実性を減少させ、事後分布はデータ収集とともにより集中する傾向にあるが、その詳細について検討する。
背景メモ
- ベイズ推論（Bayesian inference）では、事前分布（prior）に観測データを加えて事後分布（posterior）を得る。新たなデータを得るほど事後分散は小さくなり、推定が確実になる、という直感がある。
- ジョン・D・クックは応用数学者・ブロガー。数理的な誤解や直感に反する現象を、統計・数理物理・プログラミングの観点から解説する記事で知られる。
- 本記事の主題：「追加データが常に事後分散を減らすとは限らない」という反直感的な命題。頻度論統計における信頼区間（confidence interval）の話とベイズの事後分散を対比させながら、データの質や事前分布との相互作用によって分散が増えるケースを扱う。
- 読者が押さえるべきポイント：単純に「サンプルサイズを増やせば精度が上がる」という素朴な理解では済まない統計リテラシーの一例であり、特にベイズ更新の枠組みでは事前分布が強すぎる場合や尤度の形状によっては逆説的な挙動が起こる。