基于贝叶斯决策理论的分类器.pptxVIP

第二章基于贝叶斯决策理论的分类器Classifiers Based on Bayes Decision Theory§1 引言§2 Bayes决策理论 最小错误率的贝叶斯决策 最小风险的贝叶斯决策§3 Bayes分类器和判别函数§4 正态分布的Bayes决策 §1 引言模式识别是根据对象特征值将其分类。 d个特征组成特征向量x=[x1,···,xd]T，生成d 维特征空间，在特征空间一个 x 称为一个模式样本。Bayes决策理论是用概率统计方法研究决策问题。⒈ 为什么可用Bayes决策理论分类？ ⑴样本的不确定性： ①样本从总体中抽取，特征值都是随机变量，在相同条件下重复观测取值不同，故x为随机向量。 ②特征选择的不完善引起的不确定性； ③测量中有随机噪声存在。⑵另一方面从样本的可分性来看：当各类模式特征之间有明显的可分性时，可用直线或曲线(面)设计分类器，有较好的效果。当各类别之间出现混淆现象时，则分类困难。 这时需要采用统计方法，对模式样本的统计特性进行观测，分析属于哪一类的概率最大。此时要按照某种判据分类，如，分类错误发生的概率最小，或在最小风险下进行分类决策等。⒉ 三个重要的概率和概率密度 先验概率、类条件概率密度函数、后验概率。⑴先验概率 P(wi) 由样本的先验知识得到先验概率，可从训练集样本中估算出来。 例如，两类10个训练样本，属于w1为2个，属于w2为8个