統計検定準一級実践ワークブック30章まとめ
重回帰分析におけるAIC#
$ y=X\beta+\varepsilon $、$ \varepsilon\sim N_n(0,\sigma^2I_n) $とする。すると、 $$ y\sim N_n(X\beta,\sigma^2I_n) $$ となる。$ X\in\mathbb R^{n\times d} $は列フルランクとし、$ d $は切片を含む回帰係数の数とする。
残差平方和とは何か#
任意の$ \beta $についての$ (y-X\beta)^\top(y-X\beta) $は、その係数での二乗誤差である。これを最小にする$ \hat\beta $を代入した、 $$ S_e=(y-X\hat\beta)^\top(y-X\hat\beta) $$ が最小二乗法の残差平方和となる。$ X\hat\beta $は当てはめ値のベクトルで、標本平均$ \bar y $とは一般に異なる。切片だけのモデルでは当てはめ値が全て$ \bar y $になり、残差平方和が全偏差平方和と一致する。
射影行列を使った式変形#
$$ \hat\beta=(X^\top X)^{-1}X^\top y,\qquad H=X(X^\top X)^{-1}X^\top $$ とおくと、残差は$ (I_n-H)y $である。$ H^\top=H $、$ H^2=H $なので、 $$ S_e=y^\top(I_n-H)^\top(I_n-H)y=y^\top(I_n-H)y $$ となる。したがって、 $$ S_e=y^\top\left(I_n-X(X^\top X)^{-1}X^\top\right)y $$ を得る。
AICへのつながり#
正規誤差の対数尤度は、 $$ \ell(\beta,\sigma^2)=-\frac n2\log(2\pi)-\frac n2\log\sigma^2-\frac{|y-X\beta|^2}{2\sigma^2} $$ である。$ S_e>0 $のとき、分散の最尤推定値は$ \hat\sigma^2=S_e/n $となる。不偏推定値$ S_e/(n-d) $と区別する。
回帰係数$ d $個と分散1個を数えると、 $$ \mathrm{AIC}=-2\ell(\hat\beta,\hat\sigma^2)+2(d+1)=n\log(S_e/n)+n\{1+\log(2\pi)\}+2(d+1) $$ となる。同じ応答データに対するモデル比較では、全モデルに共通する定数項を省略してよい。