標準誤差#

標準誤差は推定量の標本分布の標準偏差である。例えば独立な標本$ X_1,\ldots,X_n\sim N(\mu,\sigma^2) $なら、 $$ \bar X\sim N\left(\mu,\frac{\sigma^2}{n}\right),\qquad\mathrm{SE}(\bar X)=\frac{\sigma}{\sqrt n} $$ となる。$ \sigma^2/n $は分散で、標準誤差はその平方根である。$ \sigma $が未知なら、例えば不偏分散の平方根$ s $を用いて$ s/\sqrt n $と推定する。

ジャックナイフ推定量の補足#

元の標本から計算する統計量を$ \hat\theta $、第$ j $観測を一つ除いた標本から計算する統計量を$ \hat\theta_{(j)} $とする。その平均を、 $$ \bar{\hat\theta}_{(\cdot)}=\frac1n\sum_{j=1}^n\hat\theta_{(j)} $$ とおくと、標準誤差のジャックナイフ推定値は、 $$ \widehat{\mathrm{SE}}_{\mathrm{jack}}=\sqrt{\frac{n-1}{n}\sum_{j=1}^n\left(\hat\theta_{(j)}-\bar{\hat\theta}_{(\cdot)}\right)^2} $$ である。平方根の中が推定分散となる。

特に$ \hat\theta=\bar x $なら、 $$ \hat\theta_{(j)}=\frac{n\bar x-x_j}{n-1},\qquad\bar{\hat\theta}_{(\cdot)}=\bar x $$ なので、 $$ \hat\theta_{(j)}-\bar{\hat\theta}_{(\cdot)}=-\frac{x_j-\bar x}{n-1} $$ となる。したがって、 $$ \widehat{\mathrm{SE}}_{\mathrm{jack}}^2=\frac{1}{n(n-1)}\sum_{j=1}^n(x_j-\bar x)^2=\frac{s^2}{n} $$ $$ \widehat{\mathrm{SE}}_{\mathrm{jack}}=\frac{s}{\sqrt n} $$ を得る。この簡約は標本平均の場合の結果で、一般の統計量にそのまま適用はできない。

ブートストラップ法の例題#

手元のデータが$ [10,20,30] $で、平均は20とする。この経験分布から復元抽出で3個取り出して、一つのブートストラップ標本を作る。

例えば1回目が$ [10,10,30] $で平均約16.7、2回目が$ [20,30,30] $で平均約26.7、3回目が$ [10,20,30] $で平均20となる。この操作を$ B $回繰り返す。各回の統計量を$ \hat\theta^{*(b)} $、それらの平均を$ \bar{\hat\theta}^*=B^{-1}\sum_{b=1}^B\hat\theta^{*(b)} $とすると、 $$ \widehat{\mathrm{SE}}_B=\sqrt{\frac{1}{B-1}\sum_{b=1}^B\left(\hat\theta^{*(b)}-\bar{\hat\theta}^*\right)^2} $$ で標準誤差を推定する。

採択棄却法は何をやっているのか?#

目標密度を$ f(x)=l(x)/c $、$ c=\int l(x),dx>0 $とする。乱数を生成できる提案密度$ g $と定数$ M>0 $を、全ての$ x $で$ Mg(x)\ge l(x) $となるように選ぶ。

$ X\sim g $と$ U\sim U(0,1) $を独立に生成し、$ U\le l(X)/(Mg(X)) $なら$ X $を採択する。それ以外は生成し直す。採択された値の密度が$ f $となり、全体の採択確率は$ c/M $である。したがって、条件を満たす範囲で$ M $を小さくし、包絡関数を目標に近づけると効率がよい。

単純モンテカルロ法の密度修正は何なのか#

$ X\sim U(a,b) $、$ a<b $とすると、区間内の密度は$ 1/(b-a) $である。よって、 $$ \theta=\int_a^b g(x),dx=(b-a)\int_a^b g(x)\frac{1}{b-a},dx=(b-a)E[g(X)] $$ となる。独立な一様乱数$ X_1,\ldots,X_n $で期待値を標本平均に置き換えると、 $$ \hat\theta=\frac{b-a}{n}\sum_{i=1}^n g(X_i) $$ を得る。この$ b-a $が区間の密度に対応する補正となる。

モンテカルロ法の精度向上:「負の相関を利用」ってどれとどれの相関?#

$ \int_0^1e^x,dx $の推定を考える。$ U\sim U(0,1) $に対して$ U $と$ 1-U $はどちらも一様分布なので、 $$ T=\frac{e^U+e^{1-U}}2 $$ は同じ積分の不偏推定量になる。$ e^U $は$ U $とともに増え、$ e^{1-U} $は減るため、両者の共分散は負である。 $$ V[T]=\frac14\left(V[e^U]+V[e^{1-U}]+2\operatorname{Cov}(e^U,e^{1-U})\right) $$ したがって、独立な2個の一様乱数から作った平均の分散$ V[e^U]/2 $より小さくなる。平均を保つために使うのは和である。一般の関数でも負の共分散が得られるかは、その関数による。

例題の直球な解き方#

独立な$ U_i\sim U(0,1) $から、 $$ \hat\pi=\frac4n\sum_{i=1}^n\sqrt{1-U_i^2} $$ と推定する。独立性より、 $$ V[\hat\pi]=\frac{16}{n}V[\sqrt{1-U^2}] $$ である。$ E[\sqrt{1-U^2}]=\pi/4 $、$ E[1-U^2]=2/3 $なので、 $$ V[\hat\pi]=\frac{16}{n}\left(\frac23-\frac{\pi^2}{16}\right)=\frac{32/3-\pi^2}{n} $$ と求められる。