[工学]模式识别第2章.pptVIP

第2章贝叶斯决策理论 学习指南 主要内容是说明分类识别中为什么会有错分类，在何种情况下会出现错分类？错分类的可能性会有多大？在理论上指明了怎样才能使错分类最少？ 不同的错分类造成的危害是不同的为此引入了一种“风险”与“损失”概念，希望做到使风险最小。要着重理解“风险”与“损失”的概念，以及在引入“风险”概念后的处理方法。 　　 　　 理解这一章的关键是要正确理解先验概率，类概率密度函数，后验概率这三种概率，对这三种概率的定义、相互关系要搞清楚。Bayes 公式正是体现这三者关系的式子，要透彻掌握。 学习目标 本章是模式识别的重要理论基础，它用概率论的概念分析造成错分类和识别错误的根源，并说明与哪些量有关系。 不同的错误分类造成的损失会不相同，那么有没有可能对危害大的错分类实行控制。对于这两方面的概念要求理解透彻。 将分类与计算某种函数联系起来，并在此基础上定义了一些术语，如判别函数、决策面(分界面)，决策域等，要正确掌握其含义。 涉及设计一个分类器的最基本方法——设计准则函数，并使所设计的分类器达到准则函数的极值，即最优解，要理解这一最基本的做法。 重 点 1、 机器自动识别出现错分类的条件，错分类的可能性如何计算，如何实现使错分类出现可能性最小——基于最小错误率的Bayes决策理论　2、 如何减小危害大的错分类情况——基于最小错误风险的Bayes决策理论　3、 模式识别的基本计算框架——制定准则函数，实现准则函数极值化的分类器设计方法　4、 正态分布条件下的分类器设计　5、 判别函数、决策面、决策方程等术语的概念　6、 Bayes决策理论的理论意义与在实践中所遇到的困难 难 点 　1、 三种概率：先验概率、类概率密度函数、后验概率的定义 　2、 三种概率之间的关系——Bayes公式 　3、 描述随机变量分布的一些定义，如期望值、方差、尤其是协方差、协方差矩阵，其定义、计算方法及内在含义，透彻掌握其含义才会做到灵活运用。 §2.1 引 言 模式识别是一种分类问题，即根据识别对象所呈现的观察值，将其分到某个类别中去。 统计决策理论是处理模式分类问题的基本理论之一，对模式分析和分类器的设计起指导作用。 贝叶斯决策理论是统计模式识别中的一个基本方法。 待征及特征空间。 假设一个待识别的物理对象用其d个属性观察值描述，称之为d个特征。 这d个特征组成一个d维的向量，叫特征向量。 d维待征所有可能的取值范围则组成了一个d维的特征空间。 例：中青年男子 特征：年龄：a=18~45 身高：h=160cm~250cm 体重：w=50kg~150kg 特征向量：A=(a，h，w) 由a值从18到45，h值从160到250,w值从50到150包围的三维空间就是对中青年男子进行度量的特征空间。　　 贝叶斯决策理论方法所讨论的问题 已知总共有c类物体，讨论在下列条件下对某一样本按其特征向量分类的问题。 1、各类别ωi=1,2,…,c的先验概率P(ωi)及类条件概率密度函数p(x|ωi)已知。 2、类别数一定。 几种常用的决策规则。 正态分布时统计决策的问题以及错误概率等问题。　　 几种常用的决策规则 不同的决策规则反映了分类器设计者的不同考虑，对决策结果有不同的影响。 最有代表性的是： 基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 2.2基于最小错误率的贝叶斯决策 分类识别中为什么会有错分类？在何种情况下会出现错分类？错分类可能性有多大？ 条件概率P(*|#)：在某条件#下出现某个事件*的概率。 P(ω|X)是表示在X出现条件下，样本为ω类的概率。　　 先验概率、后验概率、概率密度函数 先验概率P(ω1)、P(ω2) 后验概率P(ω1|X)、P(ω2|X) 联合概率P(X,ω1)、P(X,ω2) 类条件概率密度函数p(X|ω1)、p(X|ω2) 先验概率、后验概率、概率密度函数 Bayes 公式 后验概率 基于最小错误概率的贝叶斯决策 基于最小错误概率的贝叶斯决策理论就是按后验概率的大小作判决的 1、后验概率 (3)用比值的方式表示-----似然比 对数似然比 例2.1　　假设在某地区切片细胞中正常(ω1)和异常(ω２)两类的先验概率分别为P(ω1)=0.9，P(ω2)=0.1。现有一待识别细胞呈现出状态x，由其类条件概率密度分布曲线查得p(x|ω1)=0.2，p(x|ω２)=0.4，试对细胞x进行分类。　　解：利用贝叶斯公式，分别计算出状态为x时ω1与ω２的后验概率　　 最大后验概率即是最小错误率的证明 平均错误率，以P(e)表示 两类别问题 当