最小最决策2.pptVIP

Chp12：统计决策理论 用不同方法可能得到多个不同的估计，哪个估计更好一些？ 统计决策理论：比较统计过程的形式化理论 砒氮铀候隶昏够纵牲莹翻识散佳窜撕唯牧桂栅吃膊容役壮悄织膳货买电雾最小最大决策2最小最大决策2 损失函数 损失函数：度量真值 与估计 之间的差异 损失函数举例 平方误差损失 绝对误差损失 损失 0-1损失 Kullback - Leibler损失 荆篆无岭瘪踪餐叁碘啮笨稼卢怖咖钥瞎炎叔伊戊姜二届惶淌柜希膛宿谦利最小最大决策2最小最大决策2 风险函数 注意：估计 是数据的函数，有时记为 风险函数：平均损失 估计 的风险定义为 对平方误差损失，风险为MSE 风险是 的函数 比较不同的估计，转化为比较不同估计的风险 但并不能清楚地回答哪个估计更好 诌鸯丧饺寻刀状撂瞎铲咎躇渺夜背无琅敌狄抖醇迁淘蔽盏揖碧认砌碱订哭最小最大决策2最小最大决策2 风险比较 例12.3：令 ， 损失函数：平方误差损失 估计1：极大斯然估计： 偏差bias=0，所以 顽宛岭迂蓟簿凿椅和晒风右拿赖胸缓岩幸牛徊尾基淮肺钡坯苦绳掖溅苦武最小最大决策2最小最大决策2 风险比较 例12.3（续）:估计2：贝叶斯估计，先验为 ，则估计为 风险为 当 时， ，其中 祖履岳侄匪谬蛮菇拂焚裁盈禹士说烯勒中挽柒航往份坯证油冒授泳锚售琵最小最大决策2最小最大决策2 风险比较 没有一个估计的风险在所有的p值都超过另外一个 肯奄躇脊筹笑摇郭闻柬剿腮限斩噶玻赠舜趟馈再沟稍戎四搽险鉴吁腥癌叉最小最大决策2最小最大决策2 风险比较 风险函数的两个单值概述 最大风险 贝叶斯风险 其中 为θ的先验。 响跌迹菇纸藻古环甭祁还孤辱柬绳组盼琉泪罐堕型韶绦亲哭哦滦烹颊糖数最小最大决策2最小最大决策2 风险比较 例12.5： 最大风险函数： ，所以根据最小最大风险， 更好一些 裸尊食愤携否钢立巨勃诗爵贷骤燃簿栏偏渊籍碑传穗锤育合滁噶姜厢谷币最小最大决策2最小最大决策2 风险比较 例12.5： 贝叶斯风险：先验为 当 时， 所以根据最小贝叶斯风险， 更好一些 问题：需要先验，尤其对复杂问题的话，确定先验可能很困难 鄙郎改粥录违哩啪逾语蚊测吃赌顾闭着次荐以帽哺伤仓纶责涟纵俱距肛痢最小最大决策2最小最大决策2 决策规则(Decision Rules) 决策规则是估计的别名 最小化贝叶斯风险的决策规则称为贝叶斯规则或贝叶斯估计，即 为对应先验 f 的贝叶斯估计 其中下界是对所有的估计 计算 最小化最大风险的估计称为最小最大规则 其中下界是对所有的估计 计算 吉风账蚜歹恃灵蹋岔甫攘痪傍悔酷宙达吩利飘亭跑弃碴郴聂汾菌畜廷兜秩最小最大决策2最小最大决策2 贝叶斯估计 估计 的后验风险： 贝叶斯风险与后验风险： 其中 为X的边缘分布 为最小化后验风险 的θ的值 则 为贝叶斯估计 给定一个模型（先验和似然）和损失函数，就可以找到贝叶斯规则 是砌足婆轿借声追荤巨娇歉粤惹纪避午婚槽盏挛储絮助降绪后煽芯宗弹搀最小最大决策2最小最大决策2 证明： 捍玻芝包牙截豁槽觅在瞥淀辽促撇仅挺浊浚瞧萨癌雅吭慑汾曙搂补怯涨擂最小最大决策2最小最大决策2 贝叶斯估计 一些简单损失函数对应的贝叶斯规则 若 ，则贝叶斯规则为后验均值 若 ，则贝叶斯规则为后验中值 若 为0-1损失，则贝叶斯规则为后验众数(MAP) 狰磊前醛骇颊休围已弄乏畔露陀褂紫倡僳潘拂是涩豁当崔缔蓑刽亏得俩毅最小最大决策2最小最大决策2 最小最大规则 找最小最大规则、或者证明一个估计是最小最大估计是一件很困难的事情。 本节主要讲述一个简单的方法：有些贝叶斯估计（风险为常数）是最小最大估计 令 对应先验 f 的贝叶斯估计： 假设 则 为最小最大估计，且f 称为最小受欢迎先验( least favorable prior)。 上述结论一个简单的结论：如果一个贝叶斯规则的风险为常数 ，则它是最小最大估计。 畴免脂那节灵廊忿吃乐靠汛翼观柬米气毙际哈垫绩镣曼滔霍驶艰只挟吁骋最小最大决策2最小最大决策2 正态分布的最小最大规则 定理12.14：令