最小二乗推定値の導出#

$ Y\in\mathbb R^n $、$ X\in\mathbb R^{n\times d} $、$ \beta\in\mathbb R^d $とする。ここで$ d $は切片も含めた回帰係数の数で、切片を入れる場合は$ X $に全成分が1の列を含める。

$$ \hat\beta\in\operatorname*{arg,min}_{\beta\in\mathbb R^d}|Y-X\beta|^2 $$ を求めたいので、 $$ f(\beta)=(Y-X\beta)^\top(Y-X\beta) $$ とおく。展開すると、 $$ f(\beta)=Y^\top Y-\beta^\top X^\top Y-Y^\top X\beta+\beta^\top X^\top X\beta $$ となる。$ \beta^\top X^\top Y $はスカラーで、その転置が$ Y^\top X\beta $なので、両者は等しい。したがって、 $$ f(\beta)=Y^\top Y-2\beta^\top X^\top Y+\beta^\top X^\top X\beta $$ である。勾配を列ベクトルとして定義すると、$ X^\top X $の対称性より、 $$ \nabla_\beta f=-2X^\top Y+2X^\top X\beta=2X^\top(X\beta-Y) $$ となる。よって正規方程式は、 $$ X^\top X\hat\beta=X^\top Y $$ である。$ X $が列フルランクであれば$ X^\top X $は正定値で可逆なので、唯一の最小二乗推定値は、 $$ \hat\beta=(X^\top X)^{-1}X^\top Y $$ となる。一般に$ X $は長方形なので、$ X^{-1} $と$ (X^\top)^{-1} $に分解してはいけない。列フルランクでなければ係数の解は一意とは限らず、一般化逆行列などで扱う。

2次形式の微分公式#

$ a,\beta\in\mathbb R^d $、$ A\in\mathbb R^{d\times d} $とし、勾配は列ベクトルとする。 $$ \nabla_\beta(a^\top\beta)=\nabla_\beta(\beta^\top a)=a $$ $$ \nabla_\beta(\beta^\top A\beta)=(A+A^\top)\beta $$ 特に$ A $が対称なら、後者は$ 2A\beta $となる。

2次形式の微分はどうしてこうなるのか?#

成分ごとに書くと、 $$ \beta^\top A\beta=\sum_{i=1}^d\sum_{j=1}^d a_{ij}\beta_i\beta_j $$ なので、第$ k $成分について、 $$ \frac{\partial}{\partial\beta_k}(\beta^\top A\beta)=\sum_{j=1}^d a_{kj}\beta_j+\sum_{i=1}^d a_{ik}\beta_i $$ となる。最初の和が$ A\beta $の第$ k $成分、次の和が$ A^\top\beta $の第$ k $成分なので、上の公式が得られる。

最後の項の謎#

転置は形だけを合わせるために付けるものではない。微分を使えば、 $$ df=(d\beta)^\top A\beta+\beta^\top A,d\beta=((A+A^\top)\beta)^\top d\beta $$ となる。$ df=(\nabla_\beta f)^\top d\beta $との比較から、勾配が$ (A+A^\top)\beta $と分かる。