統計検定準一級実践ワークブック第4章メモ
畳み込み積分って何?#
同時確率密度関数$ f_{X,Y} $を持つ2つの確率変数$ X,Y $の和$ Z=X+Y $を考える。
「$ x+y=z $上の密度を集める」と考えたくなるが、この直線は平面上の面積が0なので、その上で普通の二重積分をしても$ Z $の密度にはならない。補助変数$ W=Y $を導入し、変数変換する。 $$ z=x+y,\quad w=y,\qquad x=z-w,\quad y=w $$ 逆変換のヤコビアンは、 $$ J=\frac{\partial(x,y)}{\partial(z,w)}=\begin{pmatrix}1&-1\\0&1\end{pmatrix},\qquad |\det J|=1 $$ なので、 $$ f_{Z,W}(z,w)=f_{X,Y}(z-w,w) $$ である。$ w $について周辺化すると、 $$ f_Z(z)=\int_{-\infty}^{\infty}f_{X,Y}(z-w,w),dw $$ となる。特に$ X,Y $が独立なら、 $$ f_Z(z)=\int_{-\infty}^{\infty}f_X(z-w)f_Y(w),dw $$ となり、これが密度の畳み込みである。
畳み込み積分のお気持ち?#
和が$ z $になる組合せ$ (z-w,w) $の同時密度を、$ w $を動かして足し合わせている。変数変換してから一方の変数を積分で消す、という順番で理解するとよい。
畳み込み積分の一般化#
$ Z=aX+bY $、$ W=Y $とし、まず$ a\ne0 $とする。逆変換は、 $$ x=\frac{z-bw}{a},\qquad y=w $$ で、そのヤコビアンは、 $$ \frac{\partial(x,y)}{\partial(z,w)}=\begin{pmatrix}1/a&-b/a\\0&1\end{pmatrix} $$ となる。したがって独立性のもとで、 $$ f_Z(z)=\int_{-\infty}^{\infty}\frac{1}{|a|}f_X\left(\frac{z-bw}{a}\right)f_Y(w),dw $$ を得る。$ a=0,b\ne0 $なら$ f_Z(z)=|b|^{-1}f_Y(z/b) $で、$ a=b=0 $なら$ Z=0 $に退化し、通常の確率密度は持たない。
ロジット変換とロジスティック変換とロジスティック回帰って何が違うの?#
ロジット変換は、 $$ \pi\mapsto\log\frac{\pi}{1-\pi},\qquad (0,1)\to\mathbb R $$ で、ロジスティック変換はその逆関数、 $$ x\mapsto\frac{e^x}{1+e^x},\qquad\mathbb R\to(0,1) $$ である。
二値の応答$ Y\in\{0,1\} $に対するロジスティック回帰では、$ \pi(x)=P(Y=1\mid x) $として、 $$ \log\frac{\pi(x)}{1-\pi(x)}=a+\beta x $$ を仮定する。$ x $は説明変数、$ \beta $は回帰係数である。観測値$ Y $そのものをロジット変換するのではなく、条件付き確率のロジットを説明変数の線形関数で表している。 $$ \pi(x)=\frac{e^{a+\beta x}}{1+e^{a+\beta x}} $$ と戻すと、いつものS字形の曲線になる。ロジットの入力の定義域は$ (0,1) $で、出力の値域は$ \mathbb R $である。
なぜロジスティック回帰なのか?#
二値の応答に通常の線形回帰をそのまま使うと、予測値が0未満や1超になることがある。ロジスティック回帰は予測確率を$ (0,1) $に収め、応答の条件付き分布をベルヌーイ分布として扱う。プロビット回帰では、同様に標準正規分布の累積分布関数を用いて確率を表す。