統計検定準一級実践ワークブック第22章まとめ
平均偏差行列の転置 $ \times $ 平均偏差行列/サンプルサイズn-1で標本分散共分散行列って本当に出るの？#
P194の例において、pythonで実際にやってみた
import numpy as np
example1=([-3.5,-2.5,-2.17,-4.33],[3.5,3.5,4.83,3.67],[2.5,-1.5,-3.17,1.67],[1.5,-3.5,-2.17,2.67],[-3.5,4.5,2.83,-3.33],[-0.5,-0.5,-0.17,-0.33])
example1_matrix=np.array(example1)
example1_t=example1_matrix.T
dot_prod=np.dot(example1_t,example1_matrix)
print(dot_prod/(6-1))
を実行すると、
[[ 9.1 -0.7 0.7 9.6 ]
[-0.7 10.7 9.5 -0.6 ]
[ 0.7 9.5 10.16668 1.33332]
[ 9.6 -0.6 1.33332 10.66668]]
となり、一致する。すごい。
(22.6)から(22.7)までの行間埋め#
前提として、Aはp次元の対称行列、UはAを対角化するための適当な直交行列($ U^{\top}=U^{-1}ってこと $)。
まず、Aの対角化をして、
$$ U^{\top}AU=diag(\lambda_{1},…,\lambda_{p}) $$
となり、ここでUは直交行列であるので右からUを掛けてやる。すると、
$$ AU=U diag(\lambda_{1},…,\lambda_{p})\ \ \ (22.6)$$
となるので、
$$ Au_{j}=\lambda_{j}u_{j},\ \ <u_{j},u_{k}>=\delta_{j,k} $$
が成り立つ。ここで、Aは上の標本分散共分散行列のように$ A=B^{\top}B $と表せるとする。
これに左から$ u_{j}^{\top} $を掛けると、
$$ u_{j}^{\top}Au_{j}=u_{j}^{\top}(\lambda_{j}u_{j}) $$
となり、$ \lambda_{j} $は固有値つまりスカラーなので、前の方に動かしても良い。すると、
$$ u_{j}^{\top}Au_{j}=\lambda_{j}(u_{j}^{\top}u_{j}) $$
となり、$ u_{j}^{\top}u_{j} $という内積の形になることが確認できる。
ここで、$ A=B^{\top}B $を上の式の左辺に代入すると、
$$ u_{j}^{\top}(B^{\top}B)u_{j}=(Bu_{j})^{\top}(Bu_{j}) $$
となるので、これを元の式の左辺に戻すと、
$$ ||Bu||^{2}=\lambda_{j}(u_{j}^{\top}u_{j}) $$
が成り立つ。$ u^{\top}_{j}u_{j} $の各固有ベクトルは正規直交化されているので、$ ||u^{\top}_{j}u_{j}||=1 $となり、
$$ 0\le||Bu_{j}||^{2}=\lambda_j $$
が成り立つ。
よって、標本分散共分散行列Sや相関行列Rの固有値が全て非負であると分かる。
$ Cov[x_{k},y_{j}]=\lambda_{j}u_{k,j} $となることの証明の行間埋め#
$$ \lambda_{j}u_{j}=Su_{j}=\frac{1}{n-1}X^{\top}_{C}(X_{C}u_{j}) $$
となっているが、ここで一番右の$ X_{C}u_{j} $について考えると、$ X_{C} $を行ベクトルの集まりと認識すると内積の計算になり、
$$ \begin{pmatrix}(x_{1}-\bar{x}_{\cdot 1})^{\top}u_{j}\\
…\\
(x_{n}-\bar{u}_{\cdot n})^{\top}u_{j}
\end{pmatrix}
$$
となり、第j主成分$ y_{j} $に一致する。よって、
$$ =\frac{1}{n-1}X_{C}^{\top}y_{j} $$
が成り立つ。更に、$ X_{C} $を列ベクトルの集まり(c)と認識すれば、cもyも中心化されているので、
これらの積は共分散に等しくなる。
小話#
長谷川線形代数をB2のころにやっていたが、対称行列を直交行列で対角化することのうま味が全く分からなかった。テストでもあったらそれのために覚えるのだろうが、独学なのでそこのモチベーションの維持がとても難しかった。
なので応用から突入するのは独学者のベストルートな気がする。これは後輩に引き継いでいきたい。
実際この対称行列のこの対角化によって固有値の非負性も示すことが出来ているし、シュミットの正規直交化をここでありがたく感じるなんて考えてもいなかった。