不偏推定値で
$$
E[[\theta-\hat{\theta}][\theta-\hat{\theta}]^T]\geq M^{-1}(\theta)
$$
推定値$\hat{\theta}$と$x$の誤差の共分散をフィッシャ情報行列$M$の逆より小さくすることはできない。これは推定精度の限界を述べている。
導出前の記号準備
E[]:expected value期待値
cov[]:covariance共分散
var[]:variance分散
観測値ベクトルy
何かしらの推定パラメータベクトル$\hat{\theta}$
真のパラメータベクトル$\theta$
不偏推定量$E \hat{\theta} ] = \theta$
導出過程で使っている計算
$E[\hat{\theta}-\theta]=E[\hat{\theta}]-E[\theta]=0$
[導出過程]
$\hat{\theta}$は不偏推定値であるとする
$$\begin{align}
&E_{y|\theta} \left[(\hat{\theta}-\theta)\frac{\partial \log P(y|\theta)}{\partial\theta} \right] \\
&=E_{y|\theta}\left[\left\{ (\hat{\theta}-\theta) -E[\hat{\theta}-\theta] \right\}
\left\{\frac{\partial \log P(y|\theta)}{\partial\theta} -E[\frac{\partial \log P(y|\theta)}{\partial\theta} ] \right\} \right] \\
&=cov \left[ (\hat{\theta}-\theta), \frac{\partial \log P(y|\theta)}{\partial\theta} \right]
\end{align}$$
ここで相関係数$-1～ 1$であるから
$$
-1\leq
\frac{cov \left[ (\hat{\theta}-\theta), \frac{\partial \log P(y|\theta)}{\partial\theta} \right]}
{\sqrt{var[\hat{\theta}-\theta] var[\frac{\partial \log P(y|\theta)}{\partial\theta}]}}
\leq 1
$$
あとで二乗するので$-1$のほうは気にせずに変形します。
$$\begin{align}
\frac{cov \left[ (\hat{\theta}-\theta), \frac{\partial \log P(y|\theta)}{\partial\theta} \right]}
{\sqrt{var[\hat{\theta}-\theta] var[\frac{\partial \log P(y|\theta)}{\partial\theta}]}}
&\leq 1 \\
cov \left[ (\hat{\theta}-\theta), \frac{\partial \log P(y|\theta)}{\partial\theta} \right]
&\leq {\sqrt{var[\hat{\theta}-\theta] var[\frac{\partial \log P(y|\theta)}{\partial\theta}]}} \\
%
E_{y|\theta} \left[(\hat{\theta}-\theta)\frac{\partial \log P(y|\theta)}{\partial\theta} \right]
&\leq {\sqrt{var[\hat{\theta}-\theta] var[\frac{\partial \log P(y|\theta)}{\partial\theta}]}}
\end{align}$$
ここで左辺は
$$\begin{align}
&E_{y|\theta} \left[(\hat{\theta}-\theta)\frac{\partial \log P(y|\theta)}{\partial\theta} \right] \\
%
=&E_{y|\theta} \left[\hat{\theta}\frac{\partial \log P(y|\theta)}{\partial\theta} \right]
-E_{y|\theta} \left[\theta \frac{\partial \log P(y|\theta)}{\partial\theta} \right] \\
%
=&E_{y|\theta} \left[\hat{\theta}\frac{\partial \log P(y|\theta)}{\partial\theta} \right]
-\theta E_{y|\theta} \left[ \frac{\partial \log P(y|\theta)}{\partial\theta} \right] \\
=&E_{y|\theta} \left[\hat{\theta}\frac{\partial \log P(y|\theta)}{\partial\theta} \right] \\
=&\int_{-\infty}^\infty \left(\hat{\theta}\frac{\partial \log P(y|\theta)}{\partial\theta} \right) p(y|\theta) dy \\
=&\int_{-\infty}^\infty \hat{\theta} \frac{\frac{\partial p(y|\theta)}{\partial\theta}}{p(y|\theta)} p(y|\theta) dy \\
=&\int_{-\infty}^\infty \hat{\theta} \frac{\partial p(y|\theta)}{\partial\theta} dy \\
&\text{正則で微分、積分入れ替え可能であれば} \\
=&\frac{\partial}{\partial \theta} \int_{-\infty}^\infty \hat{\theta} p(y|\theta) dy \\
=&\frac{\partial}{\partial \theta} E_{y|\theta} \left[\hat{\theta} \right] \\
&\text{不変推定値であると仮定したから} \\
=&\frac{\partial}{\partial \theta} E_{y|\theta} \left[\theta \right] \\
=& \frac{\partial}{\partial \theta} \int_{-\infty}^\infty \theta p(y|\theta) dy \\
&\text{正則で微分、積分入れ替え可能であれば} \\
=&\int_{-\infty}^\infty p(y|\theta) dy \\
=&1
\end{align}$$
もとの不等式に戻って
$$\begin{align}
1&\leq {\sqrt{var[\hat{\theta}-\theta] \ var\left[\frac{\partial \log P(y|\theta)}{\partial\theta} \right]}} \\
&\text{両辺二乗して} \\
1& \leq var[\hat{\theta}-\theta] \ var\left[\frac{\partial \log P(y|\theta)}{\partial\theta} \right] \\
1& \leq E_{y|\theta}\left[ (\hat{\theta}-\theta)(\hat{\theta}-\theta)^T \right] M(\theta) \\
M^{-1}(\theta) &\leq E_{y|\theta}\left[ (\hat{\theta}-\theta)(\hat{\theta}-\theta)^T \right]
\end{align}$$