# Fisher 信息量

简单地说，信息量反映着某个统计量对于参数的确定程度的贡献。

定义上，Fisher 信息量被定义为：C-R 正则族得分函数的二阶矩（数理统计中，未特别说明时，默认为原点矩）。其中得分函数即为对数似然函数的一阶导。

$I(\theta)=E[S(X;\theta)^2]$

其可以理解为：

$I(\theta)=Var(S(X;\theta))$

$I(\theta)=-E\Big[\dfrac{\partial^2}{\partial\theta^2}\ln p(x;\theta)\Big]$

那么如下图：

这是一个对数似然 - 参数曲线，我们希望这个曲线越陡峭越好，这意味着参数有着更大可能是某一值 ——

# 有效估计

信息不等式：

要求：C-R 分布族，待估函数 $\varphi(\theta)$ 可微，无偏统计量 $T(x)$ 方差小于无穷

结论：

$Var_\theta(T(X)) \geq \frac{[\varphi^\prime(\theta)]^2}{I(\theta)} = \frac{[\varphi^\prime(\theta)]^2}{nI(\theta)}$

当待估函数为参数本身，即 $\varphi(\theta)=\theta$ ，不等式右边退化为 $\frac1{I(\theta)}$ ，也被成为 C-R 下界

那么我们根据此，引出有效估计的概念：

如果某个无偏估计 $T$ 的方差达到了 C-R 下界，则称其为有效估计。

有效估计是无偏中方差最小的，必为 UMVUE；

但 UMVUE 这么伟大的东西，也并不能保证其达到有效估计

尽管 UMVUE 一般都达不到 C-R 下界，但一般都是一个渐进有效估计。我们可以把渐近有效估计看成对 C-R 估计的一种妥协，就能更好地理解这个概念了。

渐进无偏：

$\lim\limits_{n\to\infty} E_{\boldsymbol{\theta}}(T_n)=q(\theta)$

渐进有效：

$\lim\limits_{n\to\infty}\frac{[q^{\prime}(\theta)]^2}{nI(\theta)}/Var_\theta(T_n)=1$

设 $\widehat{q}_n(X)=\widehat{q}_n(X_1,...,X_n)$ 是参数 $q(\theta)$ 的任一估计序列，如果 $\{\widehat{q}_n\}$ 依概率收敛于参数真值 $q(\theta)$ ，即：

对任意的 $\varepsilon>0$ ，有

$\lim_{n\to\infty}P\{|\widehat{q}_n(X)-q(\theta)| >\varepsilon\}=0 \quad$

或者写作：

$\quad \widehat{q}_n(X) \overset{\mathrm{p}}\to q(\theta)$

则称 $\widehat{q}_n(X)$ 是 $q(\boldsymbol\theta)$ 的相合估计（Consistent Estimate）。相合性只是反映了 $n\to\infty$ 时估计量的性质，即大样本性质，当样本容量有限时是无意义的。

相合估计关注的是估计量本身的收敛性，而渐进无偏估计关注的是估计量期望的收敛性

渐进无偏估计不一定是相合的，但是相合估计一定是渐进无偏的