2-贝叶斯分类器程序.ppt

第二章 贝叶斯分类器 2.1 最小错误率判别规则 2.2 最小风险判别规则 2.3 分类器的错误率 2.4 奈曼-皮尔逊判别规则 2.5 最小最大判别规则 引言 模式识别的分类问题就是根据待识别对象的特征向量值及其它约束条件将其分到某个类别中去。统计决策理论是模式分类问题的基本理论之一,它对模式分析和分类器的设计有着实际的指导意义,贝叶斯(Bayes)决策方法是统计模式识别中的一个重要方法,是处理模式分类问题的基本理论之一。本章要讨论的贝叶斯分类器在统计模式识别中被称为最优分类器。 例1 癌细胞识别问题: 如何区分正常细胞与癌细胞? 采用贝叶斯方法必须满足下列两个条件: 模式识别问题 假设对象来自m个不同的类,用d个特征来描述对象. 特征向量 x= ( x1, x2, ... xd )T , x也称为模式. 特征(模式)空间 S 所有的特征(模式)构成的集合. S为d维空间R d的一个子集,模式x是S中的一个点. 2.1 最小错误率判别规则 1. 问题描述 2. 判别规则 3. 决策域.判别函数 4. 参数估计 5. 计算实例 1.问题描述 在模式分类问题中,人们往往希望尽量减少分类的错误.从这样的要求出发,利用Bayes公式,可得出使错误率最低的分类规则,称之为基于最小错误率的贝叶斯分类决策 用类别条件概率大小来确定x的类别 应充分利用待识细胞的特征向量x中所包含的信息. 在给定x的情况下,类别ω 1, ω 2出现的概率P (ω 1 / x)与P (ω 2 / x)是不一样的 2.判别规则 Bayes公式是通过待识样本提供的模式特征信息x 将类先验概率P ( ωi )转化为类后验概率P (ω i / x) 等价的判别规则 3. 决策域.判别函数 决策域:对于m类分类问题，按照判别规则可以把特征向量空间(或称模式空间)分成m 个互不相交的区域R i ,i=1,2,…, m 确定了判别函数，决策边界也就确定下来了,相邻的两个决策域在决策边界上其判别函数值是相等的。 分类器设计 4.参数估计 5.计算实例 例1 有一家医院为了研究癌症的诊断，对一大批人作了一次普查，给每人打了试验针，然后进行统计，得到如下统计数字： ①这批人中，每1000人有5个癌症病人； ②这批人中，每100个正常人有1人对试验 的反应为阳性， ③这批人中，每100个癌症病人有95入对 试 验的反应为阳性。 通过普查统计，该医院可开展癌症诊断。 现在某人试验结果为阳性，诊断结果是什么? P (ω 1) = 0.995, P (ω 2) = 0.005 P (阳性/ω 1) = 0.01, P (阴性/ω 1) = 0.99 P (阳性/ω 2) = 0.95, P (阴性/ω 2) = 0.05 由此可算得 2.2 最小风险判别规则 问题的提出 损失.风险 判别规则 两种贝叶斯判别法的联系 计算实例 1.问题的提出 在例1中某人的试验结果为阳性，根据最小错误率贝叶斯决策，判他属正常人，那么他属正常人的概率是不是100％呢? 从这里可以看出，尽管采用了最小错误率贝叶斯决策，但仍然可能将正常人错判为癌症病人，也可能将癌症病人错判为正常人。这些错判都会带来一定的损失。将正常人错判为癌症病人，会给他带来短期的精神负担，造成一定的损失，这个损失比较小。如果把癌症病人错判为正常人，致使患者失去挽救的机会，这个损失就大了。这两种不同的错判所造成损失的程度是有显著差别的。 2.损失.条件风险 仍以细胞识别为例。假定： 模式x 本属正常类而判属正常类所造成的损失为l11 模式x 本属癌变类而判属正常类所造成的损夫为l21 模式x 本属正常类而判属癌变类所造成的损失为l12 模式x 本属癌变类而判届癌变类所造成的损失为l22 3.判别规则 4.两种贝叶斯判别法的联系 以两类问题为例加以分析。 5.计算实例 例2 在例1条件的基础上， 令l11 ＝0， l21 =3， l12 =1， l22 ＝0， 按最小风险贝叶斯决策为此人诊断。 将本例与例1相对比，分类结果正好相反。这是因为最小风险贝叶斯决策多考虑了一个因素，即损失。而且两种错判所造成的损失相差悬殊，导致不同的分类结果。 2.3 分类器的错误率 错误率 贝叶斯分类器的错误率 特殊情形下错误率计算 错误率估计 1.错误率 在分类器设计出来后，通常总是以错误率评价其性能。特别是当同一个分类问题设计出几种不同的分类方案时，通常总是以错误率作为方案比较的标准。因此，在模式识别的理论和实践中错误率是非常重要的参数。 所谓错误率是指平均错误率，以P ( e