基于.贝叶斯决策理论的分类器.pptVIP

第二章基于贝叶斯决策理论的分类器Classifiers Based on Bayes Decision Theory §1 引言 §2 Bayes决策理论 最小错误率的贝叶斯决策 最小风险的贝叶斯决策 §3 Bayes分类器和判别函数 §4 正态分布的Bayes决策 §1 引言 模式识别是根据对象特征值将其分类。 d个特征组成特征向量x=[x1,···,xd]T，生成d 维特征空间，在特征空间一个 x 称为一个模式样本。 Bayes决策理论是用概率统计方法研究决策问题。 ⒈ 为什么可用Bayes决策理论分类？ ⑴样本的不确定性： ①样本从总体中抽取，特征值都是随机变量，在相同条件下重复观测取值不同，故x为随机向量。 ②特征选择的不完善引起的不确定性； ③测量中有随机噪声存在。 ⑵另一方面从样本的可分性来看： 当各类模式特征之间有明显的可分性时，可用直线或曲线(面)设计分类器，有较好的效果。 当各类别之间出现混淆现象时，则分类困难。 这时需要采用统计方法，对模式样本的统计特性进行观测，分析属于哪一类的概率最大。此时要按照某种判据分类，如，分类错误发生的概率最小，或在最小风险下进行分类决策等。 ⒉ 三个重要的概率和概率密度 先验概率、类条件概率密度函数、后验概率。 ⑴先验概率 P(wi) 由样本的先验知识得到先验概率，可从训练集样本中估算出来。 例如，两类10个训练样本，属于w1为2个，属于w2为8个，则先验概率P(w1) = 0.2，P(w2) = 0.8。 ⑵类条件概率密度函数 p(x|wi) 模式样本x在wi类条件下，出现的 概率密度分布函数。也称 p(x|wi) 为wi 关于x 的似然函数。 在本章中均假设已知上述概率和概率密度函数。 ⑶后验概率P(wi|x) 定义为某个样本 x, 属于wi 类的概率, i=1,···,c 。 如果用先验概率P(wi) 来确定待分样本x的类别, 依据显然是非常不充分的，须用类条件概率密度p(x|wi)来修正。 根据样本 x 的先验概率和类条件概率密度函数p(x|wi) 用Bayes公式重新修正 模式样本所属类的概率，称 后验概率P(wi|x)。 3.用Bayes决策理论分类时要求： ①各类总体的概率分布是已知的。 ②要决策的类别数c是一定的。 §2 Bayes 决策理论 1. Bayes公式，也称Bayes法则 2. Bayes分类规则：用后验概率分类 3. 最小错误率的 Bayes 决策 ⑴为什么这样分类的结果平均错误率最小？ 在一维特征空间中，t 为两类的分界面分成两个区域R1和R2 ， R1为(－∞, t)； R2为(t,∞)。 R1区域所有x值： 分类器判定属于w1类； R2区域所有x值： 分类器判定属于w2类。 判断错误的区域为阴影包围的面积。 判定错误区域及错误率 真实状态w2，而把模式x判定属于w1类 真实状态w1，而把模式x判定属于w2类 平均错误率P(e) 决策规则实际上对每个x都使 p(e|x)取小者，移动决策面 t 都会使错误区域增大，因此 平均错误率最小。 ⑵错误率计算： 多类时，特征空间分割成 R1,··· Rc ，P(e) 由c×(c-1)项组成，计算量大。 用平均正确分类率P(c)计算只有c 项： 例1：细胞识别 已知：正常类P(w1)＝0.9; 异常类P(w2)＝0.1 待识别细胞 x, 从类条件概率密度曲线上查得 p(x|w1)＝0.2; p(x|w2)＝0.4 这种规则先验概率起决定作用。这里没有考虑错误分类带来的损失。 4. 最小风险的Bayes决策 ⑴把分类错误引起的“损失”加入到决策中去。 决策论中： 采取的决策称为动作，用ai表示； 每个动作带来的损失，用l表示。 归纳数学符号： 一般用决策表或损失矩