統計検定準一級実践ワークブック29章まとめ
切断正規分布の分散について#
ここで扱う$ X\mid X\le c $は、範囲外の値を除いて条件付けした**切断(truncation)分布である。閾値を超えたこと自体は分かる打ち切り(censoring)**と区別する。
$ X\sim N(\mu,\sigma^2) $、$ \sigma>0 $とし、$ Z=(X-\mu)/\sigma\sim N(0,1) $、$ a=(c-\mu)/\sigma $とおく。標準正規密度を$ \phi $、累積分布関数を$ \Phi $とすると、 $$ V[Z\mid Z\le a]=1-\frac{a\phi(a)}{\Phi(a)}-\left(\frac{\phi(a)}{\Phi(a)}\right)^2 $$ となる。このうち二次モーメントを導出する。 $$ E[Z^2\mid Z\le a]=\frac1{\Phi(a)}\int_{-\infty}^a z^2\phi(z),dz $$ であり、$ \phi’(z)=-z\phi(z) $なので、部分積分により、 $$ \int_{-\infty}^a z^2\phi(z),dz=[-z\phi(z)]_{-\infty}^a+\int_{-\infty}^a\phi(z),dz=-a\phi(a)+\Phi(a) $$ となる。境界では$ \lim_{z\to-\infty}z\phi(z)=0 $を用いた。したがって、 $$ E[Z^2\mid Z\le a]=1-\frac{a\phi(a)}{\Phi(a)} $$ を得る。また、同じ微分公式から、 $$ E[Z\mid Z\le a]=\frac1{\Phi(a)}\int_{-\infty}^a z\phi(z),dz=-\frac{\phi(a)}{\Phi(a)} $$ なので、分散は二次モーメントから平均の二乗を引いて得られる。一般の$ X $に戻せば、 $$ E[X\mid X\le c]=\mu-\sigma\frac{\phi(a)}{\Phi(a)} $$ $$ V[X\mid X\le c]=\sigma^2\left\{1-\frac{a\phi(a)}{\Phi(a)}-\left(\frac{\phi(a)}{\Phi(a)}\right)^2\right\} $$ となる。
MAR、MNARの違いがよく分からない#
欠測指標を$ R $、観測された部分を$ Y_{\mathrm{obs}} $、欠測した部分を$ Y_{\mathrm{mis}} $とする。MARは、観測値を条件とすれば、欠測確率が欠測値に依存しないという仮定である。 $$ P(R\mid Y_{\mathrm{obs}},Y_{\mathrm{mis}})=P(R\mid Y_{\mathrm{obs}}) $$ 例えば戦闘力の測定が欠測する確率が、全員について記録されている所属だけで決まり、所属を条件とした後は真の戦闘力に依存しないならMARである。
MNARはこの条件が成り立たない場合である。例えばスカウターが測定されるはずの戦闘力そのものに依存して壊れ、観測済みの情報を条件にしてもその依存が残るならMNARとなる。「欠測理由が分からない」というだけではMNARとは判定できない。
MCARは欠測確率が観測値にも欠測値にも依存しない場合で、MARの特別な場合である。補助変数のない一変量の単純な欠測設定では、MARはMCARに一致する。MARかMNARかを観測データだけから一般に判定できるわけではない。
参考:SASの欠測データの定義。
反復計算を例1で実践してみる#
以下は、標本数10、正確な観測が8件でその合計が370、残り2件は60を超えたことだけが分かり、標準偏差$ \sigma=10 $が既知という右打ち切りの設定である。
現在の推定値を$ \mu^{(t)} $、$ a^{(t)}=(60-\mu^{(t)})/10 $とすると、打ち切られた各観測の条件付き期待値は、 $$ E[X\mid X>60;\mu^{(t)}]=\mu^{(t)}+10\frac{\phi(a^{(t)})}{1-\Phi(a^{(t)})} $$ なので、EM更新は、 $$ \mu^{(t+1)}=\frac1{10}\left[370+2\left\{\mu^{(t)}+10\frac{\phi(a^{(t)})}{1-\Phi(a^{(t)})}\right\}\right] $$ となる。$ \mu^{(0)}=370/8=46.25 $から始めると、$ a^{(0)}=1.375 $であり、 $$ \phi(1.375)\approx0.155012,\qquad\Phi(1.375)\approx0.915434 $$ $$ \mu^{(1)}\approx49.9161,\qquad\mu^{(2)}\approx50.0469,\qquad\mu^{(3)}\approx50.0521 $$ となる。繰り返すと約50.0524に収束する。途中の丸めを粗くすると更新値がずれるので、計算には十分な桁を残す。
切断の場合#
同じ既知の$ \sigma $で、$ X\le c $の観測だけが標本に残り、除外された個体の件数を使わない切断標本なら、尤度方程式は、 $$ \mu=\bar x+\sigma\frac{\phi((c-\mu)/\sigma)}{\Phi((c-\mu)/\sigma)} $$ となる。これを、 $$ \mu^{(t+1)}=\bar x+\sigma\frac{\phi(a^{(t)})}{\Phi(a^{(t)})},\qquad a^{(t)}=\frac{c-\mu^{(t)}}{\sigma} $$ という固定点反復として使える。先ほどの打ち切りデータのEM更新とは、使う尤度とデータの条件が異なる。