統計検定準一級実践ワークブック31章まとめ
ベイズモデルの形#
尤度$ f(x\mid\theta) $、事前密度$ \pi(\theta) $を用いると、事後密度は、 $$ \pi(\theta\mid x)=\frac{f(x\mid\theta)\pi(\theta)}{\int_\Theta f(x\mid t)\pi(t),dt} $$ である。分母は事前密度だけの積分ではなく、尤度と事前密度の積の積分である。この値が有限かつ正であることを仮定する。
同時密度$ f(\theta,x)=f(x\mid\theta)\pi(\theta) $と書けば、 $$ \pi(\theta\mid x)=\frac{f(\theta,x)}{\int_\Theta f(t,x),dt}=\frac{f(\theta,x)}{f_X(x)} $$ となり、普通の条件付き密度の式と同じになる。分母の積分結果が、データ$ x $の周辺密度である。母数が離散的なら、対応する和に置き換える。
ベイズ予測の式#
次の観測$ x_{n+1} $の事後予測密度は、 $$ f(x_{n+1}\mid x)=\int_\Theta f(x_{n+1}\mid x,\theta)\pi(\theta\mid x),d\theta $$ である。さらに、母数$ \theta $を条件としたときに過去の観測と将来の観測が独立なら、 $$ f(x_{n+1}\mid x,\theta)=f(x_{n+1}\mid\theta) $$ となる。例えば条件付き独立同分布モデルで成り立つが、時系列モデルなどで常に成り立つわけではない。
この式に積分はどうしてあるのか#
条件付き同時密度の分解、 $$ f(x_{n+1},\theta\mid x)=f(x_{n+1}\mid x,\theta)\pi(\theta\mid x) $$ を$ \theta $について積分すると、母数が周辺化され、将来の観測だけの予測密度になる。つまり、母数を一つの推定値に固定せず、事後分布に沿って予測を平均している。