第一章概率统计基础 先进人机通信技术联合实验室课件.pptVIP

* 例：正态分布 例9.21：令 1、 * 例：正态分布（续） 例9.21（续） 2、 * 例：正态分布（续） 例9.21（续） 2、 * 例：正态分布（续） 例9.21（续） 2、 * MLE的最优性 在所有的无偏估计中，MLE的方差最小 渐近相对有效性 * 相对有效性 假设 ，则MLE为 。 θ的另一个合理的估计是样本的中值 。 MLE 满足 中值估计满足 二者都收敛于正确值，但中值的方差更大。 中值： * 相对有效性 一般的，假设有两个估计 和 , 且 U对T的渐近相对有效性(asymptotic relative efficiency)定义为 。 在上述正态分布例子中， ，意味着中值估计只有效利用了63%的数据。 但中值估计比均值估计更鲁棒 鱼和熊掌不可兼得 * MLE的最优性 如果 为MLE，且 为另一个估计，则 因此MLE的（渐近）方差最小，我们称之为MLE是有效的或是渐近最优的。 注意：所有的结果都是在基于模型是正确的基础之上预测的。 如果模型不正确，MLE不一定是最优的 * Delta方法 令 ，其中g 为一个平滑函数， 根据MLE的同变性， 的MLE为 Delta方法的问题： 的分布？ * Delta方法 若 ，其中g 为可微函数，且 则 其中 所以若 则当 时， * Delta方法 例9.25：设 Fisher信息函数是 MLE 的标准差是 的MLE是 由于 ，根据delta方法 所以，95%置信区间是 * 多维参数模型的Delta方法 令 ，g的导数为 假设 ，令 ，则 其中 ， ， * 例：多维参数模型的Delta方法 9.29例：令 则MLE为 * 其他一些与MLE相关的主题 MLE vs. 贝叶斯（贝叶斯推断） MLE与最小二乘法（回归） MLE假设统计模型为参数模型，模型假设的正确性检验 非形式化的，可画出数据的分布图（如直方图） 如有多个峰，则假设正态分布就有问题 形式化：假设检验 拟合优度检验 (goodness-of fit test) * 下节课内容 MLE的迭代计算 牛顿法 EM算法 因为Xi ~ f(x;theta-star) 因为Xi ~ f(x;theta-star) * 曲率越大，信息越多：F(x;theta) 对theta的曲率越大， 表示F(x;theta) 对theta越陡峭，即theta较小的变化会引起f(x:theta）较大的变化，即theta提供的关于f的信息比较多 信息越多，曲率越大，MLE越确定，估计的方差越小： * 本节课内容 MLE的性质 MLE很流行是因为MLE有一些很好的性质 * MLE的性质 MLE的一些性质（ 为参数的真值） 一致性： 同变性：若 是 的MLE，则 是 的MLE 渐近正态： 渐近有效/最优：在所有的无偏估计中，MLE的方差最小 近似于贝叶斯估计（在贝叶斯推理部分讲述） 这些只在满足正则条件下成立，正则条件度量 的平滑性。 * MLE的一致性 一致性： 依概率收敛于真值 ，即 为了证明这一性质，引入KL散度/KL距离 * 相对熵：KL散度 若f 和g为两个pdf，它们之间的KL散度/距离(Kullback-Leibler Divergence)定义为 KL散度的性质 通常情况下 我们用 来表示 * 可识别性(Identifiability) 如果 意味着 ，我们说模型 是可识别的 这表示不同的参数值对应不同的分布。后面我们都假设模型是可辨识识别的。 连续型分布