模式识别课件--lecture2-1.pptVIP

Lecture 2 2.1 引言 本章要点 　1、 机器自动识别出现错分类的条件，错分类的可能性如何计算，如何实现使错分类出现可能性最小——基于最小错误率的Bayes决策理论 　2、 如何减小危害大的错分类情况——基于最小错误风险的Bayes决策理论 　3、 模式识别的基本计算框架——制定准则函数，实现准则函数极值化的分类器设计方法 先验概率：根据大量统计确定某类事物出现的比例。 如我国理工科大学男女生比例大约为8:2，则在这类学校一个学生是男生的先验概率为0.8，而为女生的概率是0.2。 这两类概率是互相制约的，因为这两个概率之和应满足总和为1的约束。 类条件概率密度函数：同一类事物的各个属性都有一定的变化范围，在这些变化范围内的分布密度用一种函数形式表示，则称为类条件概率密度函数 2.2 常用的决策规则 2.2.1 基于最小错误率的贝叶斯决策 * 第2章 上页 下页 贝叶斯决策理论 本章要点 　4、 正态分布条件下的分类器设计 5、 判别函数、决策面、决策方程等术语的概念 6、 Bayes决策理论的理论意义与在实践中所遇到的困难 难点 　　1、 三种概率：先验概率（goto）、类条件概率密度函数（goto） 、后验概率（goto） 　　2、 三种概率之间的关系——Bayes公式 　　3、 描述随机变量分布的一些定义，如期望值、方差、尤其是协方差、协方差矩阵，其定义、计算方法及内在含义，透彻掌握其含义才会做到灵活运用。 下一部分内容 表示类型， 若仍然用两个类型A和B为例，可用 和 表示各自的先验概率，此时满足 推广到一般的c类问题中，用 则各自的先验概率用 表示，且满足： 先验概率不能作为判决的唯一依据，但当先验概率相当大时，它也能成为主要因素。 它是系统位于某种类型条件下，模式样本x出现的概率密度分布函数，常用 ，以及 来表示。 类条件概率密度在分类方法中起至关重要的作用，其函数形式及主要参数或者是已知的，或者是可通过大量抽样实验估计出来。 这种函数可以是一些著名的普遍运用的函数形式，如正态分布，也可能是更复杂的无法用分析式表示的函数。 这种分布密度只对同一类事物而言，因此与其它类事物没有关系。 男女生比例是男生与女生这两类事物之间的关系，而男生高度的分布则与女生的分布无关。 为了强调是同一类事物内部，因此这种分布密度函数往往表示成条件概率的形式。 如设X表示某一个学生的特征向量(高度)，则 男生的类条件概率密度p(X|男生) 女生的类条件概率密度p(X|女生) 即：一般情况下p(X|w1)+p(X|w2)≠1，可为从0~2之间的任意值。 例: 两者之间无任何关系。 后验概率：一个具体事物属于某种类别的概率。 它是系统在某个具体的模式样本x条件下，位于某种类型的概率， 常以 ，以及 表示。 例如: 一个学生用特征向量X表示，它是男性或女性的概 率表示成 P(男生|X) 和 P(女生|X)，这就是后验概率。 由于一个学生只可能为两个性别之一，因此有 P(男生|X)+P(女生|X)=1的约束， 这一点与类条件概率密度函数不同。 后验概率可以根据贝叶斯公式计算出来，可直接用作分类判决的依据。 后验概率与先验概率也不同，后验概率涉及一个具体事物，而先验概率是泛指一类事物，因此 P(男生|X)和P(男生)是两个不同的概念。 统计模式识别： 用概率统计的观点和方法来解决模式识别问题 基本概念： 基本概念： w1—诊断为无癌症 w2 —诊断为有癌症。 P(w1) —诊断正常的概率 P(w2) —某地区的人患癌症的概率（通过大量统计得到） 设样本 x —“试验反应呈阳性” 有： p(x|w1)表示诊断为无癌症且试验反应为阳性， P(w1|x)表示试验为阳性，而且没有癌症。 同样可得w2的类概率密度和后验概率。 分析一个两类问题： 根据全概率公式，模式样本x出现的全概率密度为： 根据Bayes公式，在模式样本x出现的条件下，两个类型的后验概率为： ， 此时，样本归属于“后验概率较高”的那种类型。 也就是： ，则 ，则 ，则偶然决定 ，或 基于最小错误率的贝叶斯决策 通过观察x把先验概率转化为后验概率 如下图所示，在一维特征空间里，判决门限t把空间划分为两个类型区域R1，R2。 ，则 在R2中， ，则 在R1中， 由于统计判别方法是基于统计参数作出决策，因此错误率也只能从平均意义上讲，表示为在观测值可能取值的整个范围内错识率的均值。?????????????? 在连续条件下，平均错误率以P(e)表示，有：? 总错误率有两