参数估计

点估计

无偏性

有偏估计（参数不可估）->渐进无偏估计

估计方法

矩估计
（1900皮尔逊的替换原理）

概率函数已知时的矩估计（不唯一）->尽量采用低阶矩

最大似然估计MLS

EM算法（当分布中有多余的参数或数据为截尾或缺失MLE求取困难时采用）

渐近正态性：评价不同的相合估计，比较其相合方差
渐近方差主要由费希尔信息量I(θ)决定

相合性即为估计量随样本量增大而逼近参数真值（一致性）
相合估计<-->lim[n inf]E(θ^)=θ and lim[n inf]Var(θ^)=0

无偏估计（参数可估）->根据有效性选择Varθ最小的θ

估计方法的评价

大样本场合

相合性

渐近正态性

小样本场合

有偏估计

无偏估计

均方误差=方差+偏差的平方（无偏估计时为零）
注：MSE（无偏估计θ0）不一定优于MSE（有偏估计θ）


而一致最小均方误差一般都不存在，因此无偏性是点估计最常见的一个合理要求

方差
应选择一致最小方差（即Varθ^是所有无偏估计Θ中最小的）


UMVUE的判定方法：

  1. θ的UMVUE必与任一零的无偏估计不相关
  2. Cramer-Rao（C-R）不等式：Var(θ)>=C-R下界

充分性原则：

  1. 任一参数θ的UMVUE不一定存在，若存在，则它一定是充分统计量的函数；
  2. 若无偏估计θ^不是充分统计量的函数，则求E(θ^|T)=θ~即为一个新的无偏估计，并且Var(θ^)<=Var(θ~)
    3.考虑θ的估计时，只需要在其充分统计量的函数中需找即可。

贝叶斯估计

区间估计

单个正态总体参数的置信区间

  1. σ已知 求μ的置信区间
  2. σ未知 求μ的置信区间
  3. μ未知 求σ^2的置信区间

大样本置信区间

样本量的确定：E=z(α/2)σ/根号n=z(α/2)根号（π（1-π）/n）

两个正态总体下的置信区间

  1. σ1^2和σ2^2已知 求μ1-μ2的置信区间
  2. σ1^2=σ2^2=σ^2未知 求μ1-μ2的置信区间
  3. σ1^2/σ2^2=c 求 μ1-μ2的置信区间
  4. σ1^2=σ2^2=σ^2未知且m、n都很大 求 μ1-μ2的置信区间
  5. σ1^2和σ2^2未知且m、n都不是很大 求μ1-μ2的置信区间
  6. 求σ1^2/σ2^2的置信区间

基本观点：任一未知量θ都可看做一个随机变量，用一个概率分布来描述未知参数（超参数）是最好的方法，这个分布称为先验分布

后验分布：

使用的三种信息

总体信息

样本信息

先验信息

在某些极端情况下，贝叶斯估计比MLE更符合人民理念：如抽检3个全是合格品与抽检10个全是合格品

置信区间、置信水平1-α、

枢轴量法：
1.构造G（x1...xn,θ）,它的分布不依赖于未知参数
2.适当选择两个常数c,d，使P（c≤G≤d）=1-α
3.化成P（θL≤θ≤θU）=1-α