フィッシャー情報量の例題#

定義を見てもチンプンカンプンなので、簡単な例題を考えることにした。
まず、表が確率$ \theta $で出るコインを考える。
これを一回投げる。つまりBin(1,$ \theta $)となるので、確率密度関数は $$ f(x;\theta)=\theta^{x}(1-\theta)^{1-x} $$ となる。
これのlogをとったあと、二回微分する。すると、 $$ \frac{\partial^{2} \log f}{\partial \theta^{2}}=-\frac{x}{\theta^{2}}-\frac{1-x}{(1-\theta)^{2}} $$ となる。これの期待値をとり、マイナス1をかける。 $ E[X]=\theta $であることを用い、 $$ J[\theta]=-E[\frac{\partial^{2} \log f}{\partial \theta^{2}}]=\frac{1}{\theta(1-\theta)} $$ と求められる。

そしてクラメルラオの不等式は $$ V[\hat{\theta}]\ge\frac{1}{J[\theta]} $$ となり、どんなに上手く不偏推定量$ \hat{\theta}$をとっても、フィッシャー情報量$ J[\theta] $を下回ることはないと示している。

イコールのとき、その不偏推定量を有効推定量と呼ぶ。

ジャックナイフ推定量の例題#

名前がめちゃくちゃカッコいいリサンプリング法。以上。
データセットX={2,4,6}を考える。 このとき、標本平均 $ \bar{X} =\frac{2+4+6}{3}=4 $となり、
標本分散は$ S^{2}=\frac{(2-4)^{2}+(4-4)^{2}+(6-4)^{2}}{3}=\frac{4+0+4}{3}=\frac{8}{3} $となる。

次に、データから一つずつ要素を除いたn-1個のデータセットを全パターン作り、その中での分散を求める。

1.データ2を除いたパターン{4,6}→分散$ \hat{\theta}_{(2)}=\frac{(4-5)^{2}+(6-5)^{2}}{2}=1 $

2.データ4を除いたパターン{2,6}→分散$ \hat{\theta}_{(4)}=\frac{(2-4)^{2}+(6-4)^{2}}{2}=4 $

3.データ6を除いたパターン{2,4}→分散$ \hat{\theta}_{(6)}=\frac{(2-3)^{2}+(4-3)^{2}}{2}=1 $

となる。最後に、求めた3つの分散の平均をとると、 $$ \bar{\theta}_{(\cdot)}=\frac{1+4+1}{3}=2 $$

となり、ジャックナイフ推定量$ \hat{\theta}_{JK} $は、

$$ \hat{\theta}_{JK}=3\times(\frac{8}{3})-(3-1)\times 2=4 $$

となり、4と分かる。
ここで、実はこれは偏差平方和を4ではなく3で割った時の「不偏分散」に等しいことが分かる。

最後に、ジャックナイフ推定量の定義は、

$$ \hat{\theta}_{JK} = n\times\hat{\theta} - (n-1)\times\hat{\theta}_{(\cdot)} $$

となっている。