模式识别课程小结.docVIP

PAGE PAGE 1 模式识别课程小结 专业：导航、制导与控制 姓名：张跃文 2006年6月18日 课程结构安排和核心思想 本教材详细介绍了在模式识别中常用的基本理论和基本方法，从理想状况下的贝叶斯决策理论开始，按照由浅入深、由表入里的逻辑顺序，重点讲解了线性和非线性判别函数、近邻法、最优化算法，特征选择和提取方面的内容。通过详细的讲解，使读者对模式识别的理论、方法和实际用途有了一个明确的思路和认识，对以后的实际应用有很强的指导意义，是一本很好的入门教材。 本书前几章着重讨论监督学习，即已知训练集样本所属类别的条件下分类器的设计方法。然后讨论特征提取和选择的准则和算法。在这之后，讨论在不利用或没有样本所属类别信息的情况下的分类方法，即非监督模式识别方法。根据有关模式识别理论和技术的发展，简单介绍了一些实例，对读者对这门课程的实用性有了更直观的认识。 模式识别系统有两种基本的方法，即统计识别方法和结构（句法）识别方法，与此相应的系统都由两个过程所组成，即设计和实现。设计是指用一定数量的样本（叫作训练集或学习集）进行分类器的设计。实现是指用所设计的分类器对待识别的样本进行分类决策。本教材只讨论了统计识别方法。 基于统计方法的模式识别系统主要由4个部分组成：数据获取，预处理，特征提取和选择，分类决策。数据获取的过程就是通过测量、采样和量化，用矩阵或向量表示二维图像或一唯波形的过程。预处理的目的是去除噪声，加强有用的信息，并对输入测量仪器或其他因素所造成的退化现象进行复原。然而由于图像或波形所包含的数据量是相当大的，为了有效的实现分类识别，就要找出最能反映分类本质的特征，这就是特征提取和选择的过程。分类决策就是在特征空间中用统计方法把被识别对象归为某一类别。通过确定某个判决规则，使按这种判别规则对被识别对象进行分类所造成的错误率或引起的损失最小。 第二章 贝叶斯决策理论 主要精髓： 一、基于最小错误率的贝叶斯决策 如果P(w1| x)P(w2| x)，则把x规类于正常状态w1，反之P(w1| x)P(w2| x)，则把x归于异常状态w2。 错误率P(e)＝＝P(w2)P2(e)+P(w1)P1(e)，由于贝叶斯决策规则式实际上是对每个x都使P(e| x)最小，所以必然有P(e)最小。也就是说，最小错误率决策规则确实使错误率最小。 二、基于最小风险的贝叶斯决策 用损失函数；i=1,2,…,a；j=1,2,…,c；表示当真实状态为wj而所采取的决策为时所带来的损失，就可以得到一般决策表。定义条件期望风险得到期望风险R=，最小风险贝叶斯决策规则为：如果则。 三、分类器的设计 通常定义一组判别函数用于表示多类决策规则，如果对一切ji,有，则将x归于wi类。故可根据需要定义不同的判别函数，只要满足上面这条性质就行。对别判别对象只有两类的情况下，我们可以定义判别函数，决策面方程显然为。 难点：错误率的正确含义；最小错误率和最小风险的区别；分类器的设计。 学习体会： 通过本章的学习，对模式识别的基本内容和方法有了一个概括的了解。其本质就是将客观事物通过抽象，概括，找出最能反应事物本质的特征，利用数学工具尤其是统计学的有关理论，比较后验概率的大小，从而对被识别对象进行规类。这样设计出的分类器理论上最优而先验条件难以满足，故在应用中受到一定限制。 第三章 概率密度函数的估计 主要精髓： 一、参数估计 1、最大似然估计 把参数看成为确定的未知参数。似然函数定义为 最大似然估计就是求使似然函数为最大的作为最大似然估计量。 2、贝叶斯估计 把参数看成为随机的未知参数，一般具有先验分布。样本通过似然函数并利用贝叶斯公式将的先验分布转化为后验分布，再利用使平方误差损失函数的贝叶斯风险极小化。 3、贝叶斯学习 利用的先验分布及样本提供的信息求出的后验分布，然后直接求总体分布。 二、参数估计方法的应用 1、正态分布的监督参数估计 假定样本类别已知，且样本服从正态分布，则通过以上三种参数估计方法能够得到很好的效果，估计值拟合程度很高。 2、非监督参数估计 在未知样本类别条件下，经常利用最大似然估计，首先定义似然函数，然后利用从混合密度中提取的样本估计未知参数，如果混合分布可识别，则可用一般方法求最大似然估计量。如果不识别，则不可使用非监督参数估计，但实际上大部分常见连续随机变量的分布密度函数都是可识别的，故这种方法还有较强的实际应用价值。 三、关于分类器错误率的估计问题 1、对于已设计好的分类器，利用样本来估计错误率。这种只用来估计分类器错误率的样本集称为检验集或考试集。 2、对于未设计好的分类器，需将样本分成两部分，即分为