重回帰分析におけるAIC#

誤差項$ \varepsilon $が正規分布$ N_{n}(0,\sigma^{2}I_{n}) $に従うので、
それに変数変換(平均を$ X\beta $ずらすだけではある)をかけてやると、$ y\sim N_{n}(X\beta,\sigma^{2}I_{n}) $となる。

問題の一つは、問30.1の$ (y-X\beta)^{\top}(y-X\beta)=S_{e}\ \ (S_{e}は偏差平方和) $となることである。
まず思い出したいのは、$ \frac{1}{n-1}(X-\bar{X})^{\top}(X-\bar{X})=共分散行列 $ となるアレである。
この前後の式は非常に似ている。そして$ y\sim N_{n}(X\beta,\sigma^{2}I_{n}) $ であったことを思い出すと、
$ \bar(X) $ は $ X\beta $ に一致し、$ X $ は $ y $ に一致しそうと考えられる。

つまるところ、$ (y-X\beta)^{\top}(y-X\beta)=S_{e} $ は$ y $の偏差平方和を求めているということになりそう。

問題のもう一つは、サラッと出てきた $$ S_{e}=y^{\top}(I_{n}-X(X^{\top}X)^{-1}X^{\top})y $$ という式。これは、 $ (y-X\beta)^{\top}(y-X\beta) $ つまり $$ (y-X(X^{\top}X)^{-1}X^{\top}y)^{\top}(y-X(X^{\top}X)^{-1}X^{\top}y) $$ を丁寧に変形してやると導出できる。
注意すべき点としては、$ (y-X(X^{\top}X)^{-1}X^{\top}y) $ の転置の取り方。 これは、$ (y^{\top}-y^{\top}X(X^{\top}X)^{-1}X^{\top}) $ になるので注意。