畳み込み積分って何？#

前提として、2つの独立な確率変数$ X,Y $ の線形結合$ Z $を考えたい。

まず、$ Z=X+Y $としたとき、$ Z $の確率密度関数を求めるとする。
シンプルに考えれば、
$$ f_{Z}(z)=\int\int_{x+y=z}f_{X,Y}(x,y)dxdy $$ というように求めることができそうなのは思いつくだろう。

ここでは、「$ X+Y=z $」という直線状の制約がつくため、
変数変換$ x=z-y $を考えると、ヤコビアンは $$ J= \begin{pmatrix} \frac{\partial x}{\partial z}&\frac{\partial x}{\partial w}\\ \frac{\partial y}{\partial z}&\frac{\partial y}{\partial w} \end{pmatrix} =\begin{pmatrix} 1&-1\\ 0&1 \end{pmatrix} $$ となることから、

$$ f_{Z}(z)=\int_{-\infty}^{\infty}f_{X,Y}(x,y)|1|dy $$ とすることができ、$ X,Y $の独立性より、 $$ f_{Z}(z)=\int_{-\infty}^{\infty}f_{X}(x)f_{Y}(y)dy $$ が成り立ち、そして$ Z=X+Y $に加えて、$ Y=W $とすれば、 $$ f_{Z}(z)=\int_{-\infty}^{\infty}f_{X}(z-y)f_{W}(w)dw $$ と表すことができる。これが畳み込み積分の式になる。

畳み込み積分のお気持ち？#

ここまで順を追って見てみると、畳み込み積分は二重積分に制約条件をつけて次元を下げているといえる。
以前自分が想像していたよりも複雑な操作ではなくて驚いた。

畳み込み積分の一般化#

では、次にこれを一般化してみる。また2つの独立な確率変数の線形結合を考えるのだが、
今回は、$ X,Y $の線形結合$ aX+bY $について考える。 この場合、ヤコビアンは、
$$ J=\begin{pmatrix}\frac{\partial x}{\partial z}&\frac{\partial x}{\partial w} \\ \frac{\partial y}{\partial z}&\frac{\partial y}{\partial w} \end{pmatrix} =\begin{pmatrix}a&b\\0&1 \end{pmatrix} $$ であるので、 $$ f_{Z}(z)=\int_{-\infty}^{\infty}\frac{1}{|a|}f_{X}(\frac{z}{a}-\frac{bw}{a})f_{Y}(w)dw $$ となる。 あんまり変わらないかもしれない。

ロジット変換とロジスティック変換とロジスティック回帰って何が違うの？#

まずロジット変換を見てみる。 $ \pi\in(0,1) $を考えたとき、$ \pi\mapsto\log\frac{\pi}{1-\pi} $つまり
$ (0,1)\to(-\infty,\infty) $と引き延ばして変換することができる。

次にロジスティック変換を見てみる。$ x\in(-\infty,\infty)$を考えたとき、 $ x\mapsto\frac{e^x}{1+e^x} $つまり
$ (-\infty,\infty)\to(0,1) $と圧縮して変換することができる。 これはロジット変換の逆関数になっている。

最後にロジスティック回帰を見てみる。
式自体は普通の単回帰ではあるが、目的変数がロジット変換の形になっている。($ x $は回帰係数) $$ \log\frac{\pi}{1-\pi}=a+\beta x $$ 左辺の定義域は、前述の通り$ (-\infty,\infty) $であるが、
$ \pi $の部分を取り出してグラフを描いてやると、いつものロジスティック回帰の形になる。

なぜロジスティック回帰なのか？#

目的変数が0もしくは1しかとらない、または質的なものだった場合、通常の線形回帰では
定義域を無視したフィットをしてしまうので、どうすべきかの示唆を得づらい。
そこで定義域が$ [0,1] $であるロジスティック回帰をとってやると、
よりバラツキにフィットした回帰をとることができる。
同様の思想がプロビット変換などでも行われている。