第5讲-基于统计决策的分类方法.pptVIP

第5讲 基于统计决策的分类方法 要点： 统计决策的基本思想 基于最小错误概率的Bayes决策 基于最小风险的Bayes决策 最小最大决策 Neyman-Pearson决策 统计决策的基本思想 假定类先验概率，类条件概率等信息已知 利用概率理论把特征空间分割成若干区域，使每个区域对应一个模式类别 目标是使分类的错误率尽可能小，或者，使分类错误的平均代价最小。 返回 类先验概率举例 考虑从传送带送过来的鱼：鲈鱼和鲑鱼 设?表示鱼的类别状态： ?= ?1时表示鲈鱼， ?= ?2时表示鲑鱼 类别状态是不确定的， ?是一个随机变量 返回 鱼的类别的先验概率 假定?是鲈鱼的先验概率为P(?1)，是鲑鱼的先验概率为P(?2)，显然: P(?1)+ P(?2)=1 先验概率反映了对鱼的类别的先验知识,它可能取决于季节的不同或捕鱼地点的不同。 返回 类条件概率举例 除了利用类先验概率，还可以利用可观测量的类条件概率来提高分类器的性能 对于鲈鱼和鲑鱼来说，一个可用的观测量是光泽度指标x。 假定x是一个连续随机变量，其分布取决于类别状态, 表示成p(x|?)，这就是“类条件概率密度”(class-conditional probability density), 或称为?关于x的似然函数 。 返回 鱼的类条件概率密度 p(x| ?1)和p(x| ?2)分别表示鲈鱼和鲑鱼的光泽度概率密度函数。 返回 基于最小错误概率的Bayes决策 两类最小错误率Bayes决策 多类最小错误率Bayes决策 返回 两类最小错误率Bayes决策 鲈鱼和鲑鱼的分类 特征空间的划分 两种可能的错误及总的错误率 最大正确识别率 最小误判准则及最大后验概率准则 应用举例 返回 鲈鱼和鲑鱼的分类 如果只使用先验概率对鲈鱼和鲑鱼分类，则合乎逻辑的判决规则是： 如果P(?1)P(?2), 则判为?1, 否则判为?2。 如果同时使用先验概率和类条件概率对鲈鱼和鲑鱼分类，那么合理的判决规则是： 如果P(?1|x)P(?2 |x), 则判为?1, 否则判为?2。 其中P(?1|x)和P(?2 |x)称为后验概率。 返回 后验概率的计算 处于类别?i并具有特征值x的模式的联合概率密度可写成两种形式: 可用贝叶斯公式计算后验概率: 示意图 其中 返回 鲈鱼和鲑鱼的后验概率 P(?1|x)和P(?2|x)分别表示鲈鱼和鲑鱼的光泽度后验概率。 返回 特征空间的划分 假定模式类?1和?2分别对应于特征空间D中的两个待求划分子区域D1和D2： 其中?表示空集。当x?D1时，判决x? ?1类；当x?D2时，判决x? ?2类。 返回 两种可能的错误 一种是把实属?1类的模式判决成属于?2类，另一种是把实属?2类的模式判决成属于?1类，误判概率可以分别表示为： 返回 总的错误率 设?1和?2类出现的概率分别为P(?1) 和P(?2),则总的误判概率(错误率)P(e)是 错误率计算示意图 返回 错误率计算示意图 最大正确识别率 使误判概率最小等价于使正确分类识别概率P(c)最大，即： 最小误判准则 在 时， P(c)达到最大。 由此得到最小误判准则如下： 返回 最大后验概率准则 根据Bayes定理： 可得最大后验概率准则： 返回 应用举例 假设在某个局部地区细胞识别中正常?1和异常?2两类的先验概率分别为 正常状态: P(?1)=0.9,异常状态: P(?2)=0.1 现有一待识别的细胞，其观察值为x,从类条件概率密度分布曲线上查得 试对该细胞x进行分类。 求解过程 返回 求解过程 因为 根据最大后验概率准则，应把x归于正常状态。 返回 多类最小错误率Bayes决策 设有c个类别?1,?2，…, ?c，样本X是d维随机向量，p(X|?j)是X在?j状态下的类条件概率密度，P(?j)是先验概率，后验概率为 其中 最大后验概率准则为: 如果P(?i|X)P(?j|X)对于一切i?j成立，则决策X??i。 返回 基于最小风险的Bayes决策 什么是损失 损失的表示方法 风险分析的概率条件 条件风险，总风险和Bayes风险 最小风险Bayes决策的缺点 两类最小风险Bayes决策 返回 什么是损失 分类错误会带来损失。不同的分类错误带来的损失通常是不一样