第七章：模型选择和模型评估.ppt

上节课内容总结 贝叶斯的概率观点 概率描述的是主观信念的程度 可以对参数进行概率描述，为参数生成一个概率分布 贝叶斯推理的基本步骤 先验分布 似然模型 计算后验分布 从后验分布中得到点估计和区间估计 点估计：后验均值、后验众数（MAP） 后验区间 上节课内容总结 后验的仿真模拟 贝叶斯推理与MLE 例 令 为 的极大似然估计，在合适的正则条件下，后验均值为 贝叶斯推理的优点 可以方便的结合先验信息 数据和先验同等对待 由后验可以同时推出点估计和区间估计 第七章：模型选择和模型评估 内容： 估计选择 （Ch13） 模型选择 （Ch14，Ch9，统计学习基础第7章） 估计选择 有几个不同的估计，哪个估计更好一些？ 统计决策理论 损失函数 损失函数：度量真值 与估计 之间的差异 损失函数举例 风险函数 风险函数：损失的均值 一个估计 的风险是 对平方误差损失，风险为MSE 风险是 的函数 比较不同的估计，转化为比较不同估计的风险 但并不能清楚地回答哪个估计更好 风险比较 风险比较 风险函数的两个单值概述 最大风险 贝叶斯风险 其中 为θ的先验。 决策规则(Decision Rules) 决策规则是估计的别名 最小化贝叶斯风险的决策规则成为贝叶斯规则或贝叶斯估计，即 为对应先验 f 的贝叶斯估计 其中下界是对所有的估计 计算 最小化最大风险的估计称为最小最大规则 其中下界是对所有的估计 计算 贝叶斯估计 给定一个模型（先验和后验）和损失函数，就可以找到贝叶斯规则 若 ，则贝叶斯规则为后验均值 若 ，则贝叶斯规则为后验中值 若 为0-1损失，则贝叶斯规则为后验众数 最小最大规则 找最小最大规则，或者证明一个估计是最小最大估计是一件很困难的事情。但还是有一个简单的方法：有些贝叶斯估计（如风险为常数）是最小最大估计 令 对应先验 f 的贝叶斯估计： 假设 则 为最小最大估计，且f 称为最小受欢迎先验( least favorable prior)。 上述结论一个简单的结果有：如果一个贝叶斯规则的风险为常数 ，则它是最小最大估计。 MLE为近似最小最大估计 对满足弱正则条件的参数模型，极大似然估计近似为最小最大估计。对均方误差损失，通常 根据Cramer-Rao 不等式，这是所有无偏估计的方差的下界。 MLE为近似最小最大估计 因此对所有估计 ，有 对大数N， MLE为近似最小最大估计。 因此，对大多数参数模型，当有大量样本时，MLE近似为最小最大估计和贝叶斯估计。 Many Normal Means 情况不成立（不是大样本） 可接受性(Admissibility) 一个估计如果在θ所有值上都比其它估计的风险大，则该估计不是我们所希望的。如果存在一个其它的规则 ，使得 则该估计 是不可接受的。 否则， 是可接受的。 可接受性 可接受性是与其他表示估计好坏的方法有何关系？ 在一些正则条件下，如果 为贝叶斯规则且有有限风险，则它是可接受的。 如果 的风险为常数且是可接受的，则它是最小最大估计。 许多正态均值(Many Normal Means) Many Normal Means是一个原型问题，与一般的非参数回归或密度估计等价。对这个问题，以前许多关于极大似然估计的正面的结论都不再满足。 令 ， 表示数据， 表示未知参数， c0，这里参数的数目与观测数据一样多 Many Normal Means MLE为 ，损失函数为 MLE的风险为 最小最大估计的风险近似为 ，且存在这样一个估计 能达到该风险。也就是说，存在风险比MLE更小的估计，因此MLE是不可接受的。在实际应用中，风险的差值可能很重要。 因此对高维问题或非参数问题，MLE并不是最优估计。另外在非参数场合，MLE的鲁棒性也不是很好。 底线 根据这些工具，怎样选择估计呢？ 如果一个估计是不可接受的，则该估计一定是不好的。 如果你信仰贝叶斯观点，则你可以用贝叶斯规则 如果最小最大性满足应用要求，可以使