第2章统计决策方法.pptxVIP

模式识别计算机与通信工程学院计算机与通信工程学院第二章 统计决策方法 课前思考机器自动识别分类，能不能避免错分类 ?怎样才能减少错误？ 不同错误造成的损失一样吗？先验概率，后验概率，概率密度函数？什么是贝叶斯公式？正态分布？期望值、方差？正态分布为什么是最重要的分布之一？学习指南 本章要说明分类识别中为什么会有错分类，在何种情况下会出现错分类？错分类的可能性会有多大？怎样才能使错分类最少？ 不同的错分类造成的危害是不同的，有的错分类种类造成的危害更大，因此控制这种错分类则是更重要的。为此引入了一种“风险”与“损失”概念，希望做到使风险最小。要着重理解“风险”与“损失”的概念，以及在引入“风险”概念后的处理方法。 理解本章的关键要正确理解先验概率，类概率密度函数，后验概率这三种概率对这三种概率的定义，相互关系要搞得清清楚楚Bayes公式正是体现这三者关系的式子，要透彻掌握。 统计决策理论是模式分类问题的基本理论之一贝叶斯决策理论是统计决策理论中的一个基本方法第二章 统计决策理论1最小错误率贝叶斯决策2最小风险贝叶斯决策3聂曼-皮尔逊判决4正态分布决策理论最小错误率贝叶斯决策1模式识别系统的基本构成分类决策：把样本分到哪一类最合理样本空间到决策空间的一个映射采用不同的标准会得到不同意义下的“最优”的决策最小错误率贝叶斯决策基于最小错误率的贝叶斯决策 基本思想使错误率为最小的分类规则称之为基于最小错误率的贝叶斯决策 例子：挑选西瓜编号敲声好瓜1沉闷是2沉闷否3沉闷否4沉闷否5清脆是6清脆是7清脆否8浊响是9浊响否????????贝叶斯公式??先验??似然??后验?当敲击声音为清脆时, 该西瓜是好瓜的概率挑选西瓜只根据先验知识挑选西瓜???这种决策信息没有意义如何根据敲声挑选出好的西瓜？??根据贝叶斯公式??如果有：???则为好瓜，反之亦然分母相同，实际只需要比较分子??这种根据后验概率进行决策的方法称为最小错误率贝叶斯决策判别函数的几种等价形式等价决策规则：讨论类条件概率密度函数直接用来分类是否合理？具有一定的合理性但是没有考虑先验概率不满足最小错误率要求问题类条件概率和后验概率区别？后验概率: P(ω1|x)和P(ω２|x)同一条件x下，比较ω1与ω2出现的概率两类ω1和ω2，则有P(ω1|x)+P(ω2|x)=1如P(ω1|x) P(ω2|x)则可以下结论，在x条件下，事件ω1出现的可能性大类条件概率: P(x|ω1)和P(x|ω2)是在不同条件下讨论的问题即使只有两类ω1与ω2，P(x|ω1)+P(x|ω1)≠1P(x|ω1)与P(x|ω2)两者没有联系问题为什么先验概率和类条件概率密度函数可以作为已知，而后验概率需要通过计算获得？计算概率都要拥有大量数据 估计先验概率与类条件概率密度函数时都可搜集到大量样本 对某一特定事件要搜集大量样本是不太容易 只能借助Bayes公式来计算得到 错误率分析对待分类模式的特征我们得到一个观察值 x ， 合理的决策规则：?决策错误的条件概率（随机变量x 的函数）：?平均错误率??(连续情况)(离散情况)?如果我们把作出w1决策的所有观测值区域称为R1，则在R1区内的每个x值，条件错误概率为p(w2|x)。另一个区R2中的x,条件错误概率为p(w1|x)因此平均错误率P(e)可表示成小结优点：基于后验概率决策的贝叶斯分类器具有最小错误率缺点：只是在最小错误率下的最优癌细胞筛查：是癌细胞但是判断为正常细胞的风险应该比正常细胞判断为癌细胞的风险大得多最小风险贝叶斯决策2基本思想使错误率最小并不一定是一个普遍适用的最佳选择。例如：癌细胞分类，两种错误的代价(损失)不同两种错误:癌细胞→正常细胞正常细胞→癌细胞宁可扩大一些总的错误率，但也要使总的损失减少。引进一个与损失有关联的，更为广泛的概念——风险。在作出决策时，要考虑所承担的风险。相关概率损耗函数λii=λ(αi/ωi)表示模式样本X本来属于ωi类而判决为ωi类所受损失。损耗函数λij=λ(αi/ωj)表示模式样本X本来属于ωj类错判为ωi所受损失风险R（期望损失）：对未知x采取一个判决行动α(x)所付出的代价（损耗）条件风险（也叫条件期望损失）在整个特征空间中定义期望风险，期望风险最小风险贝叶斯决策?决策规则：最小风险 VS 最小错误率二类问题：把x归于ω1时风险： 把x归于ω2时风险：?聂曼-皮尔逊决策3聂曼－皮尔逊准则两类错误率聂曼－皮尔逊准则是在取某类错误率为常数时，另一类错误率尽可能小。例如：Lagrange乘子法将有约束极值问题问题转化为注：可以看出聂曼-皮尔逊决策规则与最小错误率贝叶斯决策规则都是以似然比为基础的，不同地是最小错误决策阈值为先验概率之比，而聂曼-皮尔逊决策阈值则是Lagrange乘子。小结优点：可以设计理论上最优分类