標準誤差#

統計学専攻のくせにこの用語を理解していなかった奴がいるらしい。

標準誤差は、簡単に言えば標本平均の分散。
つまり正規分布$ N(\mu,\sigma^{2}) $から標本をn個、抽出してそれで分布を作ると、平均は$ N(\mu,\frac{\sigma^{2}}{n}) $ となる。
この分散が標準誤差。

ジャックナイフ推定量の補足#

選定量$ \hat{\theta} $(つまるところ標本を一つだけ除いて作った統計量のこと)の標準誤差のジャックナイフ推定量$ \hat{se}_{jack} $ は、 $$ \hat{se}_{jack}=\sqrt{\frac{n-1}{n}\sum_{j=1}^{n}\Big{(}\hat{\theta}_{j}-\bar{\hat{\theta}}_{\cdot}\Big{)}^{2}} $$ と書くことが出来る。これで、標準誤差は統計量の分散に(n-1)を掛けることで導出できると分かる。

これを選定量ではなく通常の標本を用いて書くと面白いことが分かる。
選定量を
$$ \hat{\theta}_{(j)}-\bar{\hat{\theta}}_{(\cdot)}=\frac{(n\bar{x}-x_{i})-((n-1)\bar{x})}{n-1} $$ $$ =\frac{-(x_{(i)}-\bar{x})}{n-1} $$ に置き換える。すると、 $$ \hat{se}_{jack}=\sqrt{\frac{n-1}{n}\sum_{j=1}^{n}\Big{(}\frac{-(x_{i}-\bar{x})}{n-1}\Big{)}^{2}} $$ $$ =\frac{n-1}{n(n-1)^{2}}\sum_{i=1}^{n}(x_{i}-\bar{x})^{2}=\frac{1}{n(n-1)}\sum_{i=1}^{n}(x_{i}-\bar{x})^{2} $$ よって、標準誤差のジャックナイフ推定量は分散を(n-1)で割ったものに等しいことが分かる。 不偏分散を更にnで除したと考えても良い。

ブートストラップ法の例題#

標本サイズが小さすぎるが、それは無視する。#

手元のデータが[10,20,30]であるとする。
平均は20である。

これが入った袋から「一つ取り出しては戻し、一つ取り出しては戻し」を標本サイズ、つまり三回繰り返し、セットを一つ作る。
セットの一回目では[10,10,30]となり平均は16.7、
セットの二回目では[20,30,30]となり、平均は26.7、
セットの三回目では[10,20,30]となり、平均は20.0
となった。
これを何度も繰り返す。 そして$ \hat{\theta} $の標準誤差は、
$$ \hat{se}_{B}=\sqrt{\frac{1}{B-1}\sum_{b=1}^{B}\Big{(}\hat{\theta}^{*}(b)-\bar{\hat{\theta}}\Big{)}^{2}} $$ なおセット数をBと表す。

採択棄却法は何をやっているのか？#

確率変数Xの確率密度関数を$ f(x) $とし、計算可能な関数$ l(x) $を使って$ f(x)=c^{-1}l(x),c=\int l(x)dx>0 $と表す。
ある確率密度関数$ g(x) $と定数$ M>0 $があって、全ての$ x $で $$ Mg(x)\ge l(x) $$ が成り立つとしたとき、まず$ g(x) $から乱数xと$ U(0,1) $から一様乱数$ u $をとる。
$ r=\frac{l(x)}{Mg(x)} $として$ u\le r $ならば$ x $を出出力し、そうでないならばもう一度乱数を生成しなおす。
これを採択棄却法という。目的としては「直接乱数を生成するのが難しい関数$ l(x) $」に近い$ Mg(x) $を使って乱数を生成するということ。
なので、rが1に近ければ近いほど好ましく、採択されやすいということになる。

単純モンテカルロ法の密度修正は何なのか#

一様分布$ U(a,b) $の確率密度関数$ f(X)=1 $、$ g(x) $をモンテカルロ法で近似したい関数とする。
このとき、式を変形すると、 $$ \theta=\int_{a}^{b}g(x)dx=(b-a)\int_{a}^{b}g(x)\frac{1}{b-a}dx $$ となる。ここで、$ X\sim U(a,b) $であるとすれば、$ \int_{a}^{b}g(x)\frac{1}{b-a}dx $は$ E[g(X)] $と等しくなる。よって、
$$ \theta=(b-a)E[g(X)] $$ が成り立つ。この$ (b-a) $が密度修正になる。

モンテカルロ法の精度向上：「負の相関を利用」ってどれとどれの相関？#

例6では、 $$ \int_{0}^{1}e^{x}dx $$ の近似のために、 $$ g_{2}(x)=\frac{(e^{x}+e^{1-x})}{2} $$ という関数を定義する。確かに$ e^{x} $は$ x\in[0,1] $が増えると増えるが、$ e^{1-x} $は逆に減る。
確かに負の相関がありそうなことは分かるが、どうしてこれが有用なのか。

和の分散を思い起こしてみると、 $$ Var[\frac{f(U)-f(1-U)}{2}]=\frac{1}{4}\Big{(}Var[f(U)]+Var[f(1-U)]+2Cov[f(U),f(1-U)]\Big{)} $$ となる。$ U,1-U\sim U(0,1) $であるため、$ Var[f(U)]=Var[f(1-U)] $である。
$ f(U) $と$ f(1-U) $には負の相関があるため、『平均は変わらないまま』$ Var[\frac{f(U)-f(1-U)}{2}] $を小さくすることができる。すごい。

例題の直球な解き方#

式変形を少し工夫する。
ポイントはUどうしが独立であること。 $$ V[\hat{\pi}]=V\Big{[}4\times\frac{1}{n}\times\sum_{i=1}^{n}\sqrt{1-U_{i}^{2}}\Big{]} $$ $$ =\frac{16}{n^{2}}V\Big{[}\sum_{i=1}^{n}\sqrt{1-U_{i}^{2}}\Big{]} $$ $$ =\frac{16}{n^{2}}\sum_{i=1}^{n}V\Big{[}\sqrt{1-U^{2}}\Big{]}\ \ \because U_{i}は互いに独立 $$ $$ =\frac{16}{n^{2}}\times n\times V\big{[}\sqrt{1-U^{2}}\big{]} $$ $$ =\frac{16}{n}V\big{[}\sqrt{1-U^{2}}\big{]} $$ あとはこれについて普通に積分をして解けばよい。