哈工大 模式识别.pptxVIP

会计学;学习指南 ;理解这一章的关键是要正确理解先验概率，类概率密度函数，后验概率这三种概率，对这三种概率的定义、相互关系要搞清楚。Bayes 公式正是体现这三者关系的式子，要透彻掌握。;学习目标;重 点 ;难 点;§2.1 引 言; 物理对象的描述---- 特征及特征空间;例：鲈鱼 特征：长度：L=0~30 cm 宽度：W=10 cm~25 cm 亮度：G=0~10 特征向量：A=(L，W，G) A 的各分量所占的三维空间就是对鲈鱼 进行度量的特征空间。　　 ;几种常用的决策规则 ;2.2基于最小错误率的贝叶斯决策;基于最小错误率的贝叶斯决策 ;条件概率;几个重要概念;先验概率、后验概率、概率密度函数;贝叶斯决策理论;基于最小错误率的贝叶斯决策 ;;;;类条件概率密度函数;后验概率;Bayes 公式;后验概率;类条件概率和后验概率;;基于最小错误概率的贝叶斯决策;(3)用比值的方式表示-----似然比 ;(4) 对数似然比（似然比处理器） ;例2.1　　假设在某地区切片细胞中正常(ω1)和异常(ω２)两类的先验概率分别为P(ω1)=0.9，P(ω2)=0.1。现有一待识别细胞呈现出状态x，由其类条件概率密度分布曲线查得p(x|ω1)=0.2，p(x|ω２)=0.4，试对细胞x进行分类。　　解：利用贝叶斯公式，分别计算出状态为x时ω1与ω２的后验概率　　 ;因此判定该细胞为正常细胞比较合理 ;最大后验概率即是最小错误率的证明;;两类别问题 ;第34页/共121页;在R1区内任一个x值都有P(w2|x)＜P(w1|x)， 在R2区内任一个x值都有P(w1|x)＜P(w2|x) 错误率在每个x值处都取小者，因而平均错误率P(e)也必然达到最小 因而，按最大后验概率作出的决策，其平均错误率为最小。 ;C类别情况 ;多类别决策过程中的错误率计算： 1、把特征空间分割成R1，R2，…，Rc，C个区域 2、在每个区域Ri统计将所有其它类错误划为该区域对应的类的概率，则每个区域共有c-1项错误率，总共有c(c-1) 项 。（计算复杂） 正确率： ;2.3基于最小风险的贝叶斯决策;;基于最小风险的贝叶斯决策 ;分类准则是使风险最小：;两类情况举例: 有没有癌细胞 ;两种决策;一般情况：多类;　(3)损失函数λ(αi|ωj) (或写成λ(αi,ωj))。 它明确表示对自然状态ωj，作出决策αi时所造成的损失。　　就是前面我们引用过的 (4)观测值X条件下的期望损失R(αi|X),　　;最小风险贝叶斯决策规则 ;（1）根据贝叶斯公式计算后验概率 （2）利用后验概率及损失函数计算条件风险 （3）按条件风险最小进行决策。 若： 则：;;;;两种决策方法之间的关系;两类时的似然比;最小错误率决策与最小风险决策的错误率;2.4 在限定一类错误率条件下使另一类错误率为最小的两类别决策;两类别问题中可能出现两种错误分类 ;实际中，有时要求某一类的错误率不得大于某个常数，如P2(e)=ε0为一个很小的常数，而使另一类错误率P1(e)最小。 也称Neyman-Pearson决策规则 可看成在P2(e)=ε0条件下，求P1(e)极小值的条件极值问题。;求条件极值的拉格朗日乘子法 ;分别对边界t(即R1区域)和λ求导，并令 ;决策规则 ;与最小错误率决策规则对比;求解λ;2.5 最小最大决策;2.5 最小最大决策;两类问题;则;;最小最大决策;最小最大决策;2.6 判别函数、决策面与分类器设计 ;例：两类别问题按最小错误率决策的判别函数及决策面 ;多类别情况 ;决策面;三类别问题用一维特征空间时的所有决策边界 ;两类别问题的二维特征空间中的决策边界　　 ;二、分类器设计;两类别分类器的框图;多类别分类器的结构框图;Bayes决策理论小结;;2.7 正态分布时的统计决策;一、正态分布概率密度函数的定义与性质;1、单变量正态分布　 ;单变量正态分布具体化 ;2、多元正态分布;3）多元正态分布的重要特性;;例：两个二元正态分布 ;协方差矩阵;3、多元正态分布的性质;;;二、正态分布概率模型下的最小错误率贝叶斯决策　 ;决策面方程 ;分界面的几种形式及条件;1、最小距离分类器情况 ;以上条件表明，c类样本都以半径相等的超球面形状分布在特征空间内，且具有相等的先验概率。 ;;;2、线性分类器;线性分类器;决策面方程 ;线性分类器;最小距离分类器与线性分类器 ;(2)Σi=Σ;判别函数 ;决策面方程 ;线性分类器小结;3、各类协方差矩阵