二PR2010第2讲 幻灯片.pptVIP

从式可知，如果对每次观察到的特征值x，P(e|?) 是尽可能小的话，则上式的积分必定是尽可能小的这就证实了最小错误率的Bayes决策法则。下面从理论上给予证明。以两类模式为例。 2.2.3 Neyman—Pearson决策 Neyman—Pearson决策即限定一类错误率条件下使另一类错误率为最小的两类别决策。 2.2.4 最小最大决策 有时我们必须设计在整个先验概率范围上都能很好的进行操作的分类器。比如，在我们的有些分类问题中可能设想尽管模式的有些物理属性恒定不变，然而先验概率可能变化范围很大，并且以一种不确定的 方式出现。或者，我们希望在先验概率不知道的情况下使用此分类器，那么一种合理的设计分类器的方法就是使先验概率取任何一种值时所引起的总风险的最坏的情况尽可能小，也就是说，最小化最大可能的总风险。以二类模式识别问题为例，进行讨论。 在两类问题中，若有 ，决策规则变为 这时最小风险的Bayes决策和最小错误率的Bayes决策规则是一致的。 一般的多类问题中，设损失函数为0-1损失函数 例：某地区细胞识别； P(ω1)=0.9， P(ω2)=0.1 未知细胞x，先从类条件概率密度分布曲线上查到： P(x/ω 1)=0.2， P(x/ω 2)=0.4 问该细胞属于正常细胞还是异常细胞。 最小错误率分类(Minimum-Error-Rate Classification) 在分类决策行动中，当实际类别状态为?j 而采取决策行动?j时，那么在i=j的情况下判决是正确的，而i?j则产生误判。 寻找一种决策规则使得错误概率最小化错误率(error rate) “0-1”损失函数(zero-one loss function) 因此，条件风险就是： 在这里，损失函数对应的风险是平均误差概率 对于最小错误率(判别规则) 对任给j ? i ，如果P(?i|x)P(?j|x)，则决策为?i。 最小化风险要求最大化后验概率P(?i|x) (因为 R(?i | x) =1–P(?i|x)) 决策区域(两类)与“0-1”损失函数: ?是“0-1”损失函数，意味着： “0-1”损失函数定义：在c个类别只有c个决策时，如果正确决策，则损失函数的值为0；如果错误决策，则损失函数的值为1。公式表示为： 最小风险贝叶斯决策等价于最小错误率贝叶斯决策。换句话说：最小错误率贝叶斯决策是在0-1损失函数条件下的最小风险贝叶斯决策，最小错误率贝叶斯决策是最小风险贝叶斯决策的特例。 小 结 用Lagrange乘子法建立其数学模型 取得极小值的边界条件 与最小错误率的Bayes决策的比较 以两类情况下的最小风险Bayes决策为例进行讨论 总风险公式 假定决策域已经确定，我们以 表示分类器判为 时的特征空间中的区域，同样有 和 ，于是总风险用条件风险的形式表示为 一旦 和 确定，风险 就是先验概率 的线性函数，可表示为 决策阀值 综上所述，可以得出：在作最小风险Bayes决策时，若考虑 有可能改变或对先验概率毫无所知，则应选择使最小Bayes风险 为最大值时的 来设计分类器，它相对于其它的 为最大，但能保证在不管 如何变化时，使最大风险将为最小，我们称其为最小最大决策。其任务就是寻找使Bayes风险为最大时的决策域 和 ，它对应于下式 然后确定 作业 2.4 2.6 * 第2章 Bayes决策理论 专题二 贝叶斯决策理论 引言 贝叶斯决策理论 最小误差率分类 分类器、判别函数及决策面 正态分布密度(The Normal Density) 正态分布的判别函数 2.1 引言 数据获取 预处理 特征提取与选择 分类决策 分类器设计 信号空间 特征空间 基本概念 模式分类：根据识别对象的观测值确定其类别 样本与样本空间： 类别与类别空间：c个类别（类别数已知） 决策 把x分到哪一类最合理？理论基础之一是统计决策理论 决策：是从样本空间S，到决策空间Θ的一个映射，表示为 D: S - Θ 决策准则 评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下“最优”的决策。 Bayes决策常用的准则： 最小错误率准则 最小风险准则 在限定一类错误率条件下使另一类错误率为最小的准则(Neyman—Pearson决策) 最小最大决策准则 2.1 引言 鲈鱼/鲑鱼例子 自然状态(State of nature), 先验的(prior)类别状态，?i,i=1,2 ?i类别状态是一个随机变量, P(?