ベイズモデルの形#

ワークブックでは、ベイズモデルは事後分布$ \pi(\theta|x) $、パラメトリックモデル$ f(x|\theta) $、事前分布 $ \pi(\theta) $を用いて、 $$ \pi(\theta|x)=\frac{f(x|\theta)\pi(\theta)}{\int_{\Theta}\pi(\theta)d\theta} $$ のように表されているが、初見でいまいちよく分からなかったので、前の章とのつながりを意識して再構成すると、 $$ \pi(\theta|x)=\frac{f(\theta,x)}{\int_{\theta}f(\theta,x)d\theta} $$ となり、分母が周辺確率密度関数の積分、分子が同時確率密度関数となり、普通の条件付き確率密度関数の導出の式となり、だいぶ読み解きやすくなる。

ベイズ予測の式#

$$ f(x_{n+1}|x)=\int_{\theta\in\Theta}f(x_{n+1}|x,\theta)\pi(\theta|x)d\theta $$ というベイズ予測分布の式の前提を整理したい。

$ f(x_{n+1}|x,\theta)=f(x_{n+1}|\theta) $#

これが成り立つのは、観測データが$ \theta $が所与のもとでは独立、つまるところ逆マルコフ連鎖みたいな状態だと考えると良いかもしれない。

この式に積分はどうしてあるのか#

前項の内容を思い返してやると、 $$ f(x_{n+1}|x)=\int_{\theta\in\Theta}f(x_{n+1}|\theta)\pi(\theta|x)d\theta $$ が成り立つが、これは、 $$ f(x_{n+1}|x)=\int_{\theta\in\Theta}f(x_{n+1},\theta|x)d\theta $$ と表すことが出来、これを積分で周辺化してやると$ \theta $が消え、右辺と左辺が等しくなる。