Ch2 Bayes 决策理论( Bayes 分类器.pptVIP

Ch2 Bayes 决策理论（ Bayes 分类器） 主要内容 最小错误率Bayes分类器 最小风险Bayes分类器 引言 模式识别中的分类问题，是跟据待识别对象的观察值将其分到某个类别中去。 采用Bayes分类器的必要要求： 要决策分类的类别数是一定的 各类别的总体概率分布是已知的。 特征向量 模式识别中所讨论的分类问题，有2－类分类与多类分类问题。 最小错误率Bayes决策规则 基本假设： 假设要研究的分类问题有c个类别，各类别状态用ωi表示，i=1,2,…,c; 假设待识别对象的特征向量x所对应的后验概率用P(ωi/x) 是已知的；或者，对应于各个类别的先验概率P(ωi)和类条件给率密度函数p(ωi/x)是已知的。 最小错误率Bayes决策规则 首先看下面的例子： 对细胞进行识别，判断其是正常细胞（ 属于ω1 类）还是异常细胞（属于ω2 类）。 直观的说法： 若x属于正常类ω1 类的概率大于x属于异常类ω2 类，则判决x∈ω1； 否则， x∈ω2。 较为严格的说法： 最小错误率Bayes决策规则 若 P(ω1/x) P(ω2/x) , 则判决x∈ω1； P(ω1/x) P(ω2/x) , 则判决x∈ω2. 注意：若仅由先验概率进行决策，就会把所有的细胞都判属正常类。 先验概率：由先验知识在识别前就得到的概率P(ω1)称为状态的先验概率。 最小错误率Bayes决策规则 类条件概率：P(x / ω1). 后验概率：由Bayes公式 得到的条件概率称为状态的后验概率。 最小错误率Bayes决策规则 利用Bayes公式，便可得到下述决策规则： ， 则 进一步的可以改进为： ，则 最小错误率Bayes决策规则 还可以得到下面的后验概率形式的规则： 则 请同学们思考下面的问题：对于多类分类问题，最小错误率Bayes决策规则的形式如何？ 最小错误率Bayes决策规则 例题2.1 某医院为了研究癌症的诊断，对一批人做了一次普查，给每人注射了测试针，然后进行统计得到如下的统计数字： 每1000人中有5个癌症病人； 每100个正常人中有1人对测试的反应呈阳性； 每100个癌症病人中有95人对测试的反应呈阳性。 最小错误率Bayes决策规则 例题2.1 正常人群用ω1类表示，癌症病人人群用ω2 类表示以测试结果作为特征，即特征值为阴或阳。根据上述的统计结果，得 问题：王某，测试结果为阳性，诊断结果是什么？ 最小错误率Bayes决策规则 例题2.1 由于 因此， 所以 故，王某为正常人。 最小错误率Bayes决策规则 几个常用的重要概念： 特征空间，决策区域，决策边界，判别函数，决策规则等。 最小风险Bayes决策规则 继续考虑上一节得例题 下面计算测试结果为阳性的条件下，该人属于正常人的概率 所以，该人属于正常人的概率为67.7％，也就是说，他属于癌症病人的概率为32.3％ 最小风险Bayes决策规则 值得注意的是，在决策过程中，还需要考虑各种错误判断所造成的不同的损失，因此提出了最小风险Bayes决策方法。 条件风险：将模式x判属某类所造成的损失的条件数学期望。 以上面的细胞识别为例，假定： 最小风险Bayes决策规则 模式x本属ω1类而判属ω1所造成的损失为L11; 模式x本属ω2类而判属ω1所造成的损失为L21; 模式x本属ω1类而判属ω2所造成的损失为L12; 模式x本属ω2类而判属ω2所造成的损失为L22。 最小风险Bayes决策规则 根据条件风险的定义，将模式x判属ω1类的风险为模式x判属ω1类所造成的损失的数学期望： 同理，模式x判属ω2类的风险为模式x判属ω2类所造成的损失的数学期望： 最小风险Bayes决策规则 可以根据条件风险的值，给出一种新的决策规则。 如果将x判属ω1类的条件风险小于将其判属ω2类的条件风险，则决策x属于ω1类； 如果将x判属ω2类的条件风险小于将其判属ω1类的条件风险，则决策x属于ω2类。 最小风险Bayes决策规则 形式化的决策规则 若 则 最小风险Bayes决策规则 利用Bayes公式，可将上述的决策规则改写为 若 则 思考题：如何将最小风险Bayes决策规则推广至多类分类问题？ 最小风险Bayes决策规则 例题2.2 在例题2.1的基础上，令L11=0, L21=3, L12=1, L22=0，按照最小风险Bayes决策规则为王某诊断。 计算条件风险： r1(x)=0.