基于贝叶斯决策理论的分类器.pptxVIP

第二章基于贝叶斯决策理论的分类器Classifiers Based on Bayes Decision Theory;§1 引言 §2 Bayes决策理论 最小错误率的贝叶斯决策 最小风险的贝叶斯决策 §3 Bayes分类器和判别函数 §4 正态分布的Bayes决策 ;§1 引言;⑵另一方面从样本的可分性来看： 当各类模式特征之间有明显的可分性时，可用直线或曲线(面)设计分类器，有较好的效果。 当各类别之间出现混淆现象时，则分类困难。 这时需要采用统计方法，对模式样本的统计??性进行观测，分析属于哪一类的概率最大。此时要按照某种判据分类，如，分类错误发生的概率最小，或在最小风险下进行分类决策等。;⒉ 三个重要的概率和概率密度 先验概率、类条件概率密度函数、后验概率。 ⑴先验概率 P(wi) 由样本的先验知识得到先验概率，可从训练集样本中估算出来。 例如，两类10个训练样本，属于w1为2个，属于w2为8个，则先验概率P(w1) = 0.2，P(w2) = 0.8。 ⑵类条件概率密度函数 p(x|wi) 模式样本x在wi类条件下，出现的 概率密度分布函数。也称 p(x|wi) 为wi 关于x 的似然函数。 在本章中均假设已知上述概率和概率密度函数。;⑶后验概率P(wi|x) 定义为某个样本 x, 属于wi 类的概率, i=1,···,c 。 如果用先验概率P(wi) 来确定待分样本x的类别, 依据显然是非常不充分的，须用类条件概率密度p(x|wi)来修正。 根据样本 x 的先验概率和类条件概率密度函数p(x|wi) 用Bayes公式重新修正 模式样本所属类的概率，称 后验概率P(wi|x)。 3.用Bayes决策理论分类时要求： ①各类总体的概率分布是已知的。 ②要决策的类别数c是一定的。 ;§2 Bayes 决策理论;类条件概率密度;3. 最小错误率的 Bayes 决策;判定错误区域及错误率 真实状态w2，而把模式x判定属于w1类 真实状态w1，而把模式x判定属于w2类 平均错误率P(e) 决策规则实际上对每个x都使 p(e|x)取小者，移动决策面 t 都会使错误区域增大，因此 平均错误率最小。;⑵错误率计算： 多类时，特征空间分割成 R1,··· Rc ，P(e) 由c×(c-1)项组成，计算量大。 用平均正确分类率P(c)计算只有c 项：; 例1：细胞识别 已知：正常类P(w1)＝0.9; 异常类P(w2)＝0.1 待识别细胞 x, 从类条件概率密度曲线上查得 p(x|w1)＝0.2; p(x|w2)＝0.4 这种规则先验概率起决定作用。这里没有考虑错误分类带来的损失。;4. 最小风险的Bayes决策; 一般用决策表或损失矩阵表示上述三者关系。 决策表表示各种状态下的决策损失，如下表：;由于引入了“损失”的概念 (即在错判时造成的损失)，不能只根据后验概率来决策，必须考虑所采取的决策是否使损失最小。 对于给定的x，决策ai ，l可在c个l(ai,wj)中选一个，其相应的后验概率为P(wj|x)。 此时的条件期望损失，即后验概率加权和 在决策论中条件期望损失称为条件风险，即x被判为i类时损失的均值。 由于x是随机向量的观察值，不同的x采取不同决策ai ，其条件风险的大小是不同的。; ;⑵最小风险的Bayes决策规则：;如果只有两类的情况下 这时最小风险的Bayes决策法则为： 如果R(a1|x) R(a2|x), 则x的真实状态w1, 否则w2。 两类时最小风险Bayes决策规则的另两种形式： ;例2：条件同例1，利用决策表， 按最小风险Bayes决策分类。 这里决策与例1