第1章 模式识别课程绪论.ppt

什么是模式识别？ 模式识别的定义 Pattern recognition is the study of how machines can observe the environment, learn to distinguish patterns of interest from their background, and make sound and reasonable decisions about the categories of the patterns. —— Anil K. Jain，Michigan State University /~jain/ Ref: Anil K. Jain et al. Statistical Pattern Recognition：A Review. IEEE Trans. on pattern analysis and machine intelligence. 2000, 22(1):4-37 什么是识别？ 模式识别的目的：利用计算机对物理对象进行分类，在错误概率最小的条件下，使识别的结果尽量与客观物体相符合。 Y = F(X) X的定义域取自特征集 Y的值域为类别的标号集 F是模式识别的判别方法 为什么要研究模式识别 生产实践的需要：需要智能机器人，另外人的工资高，而计算机的价格越来便宜。 信息爆炸现象：处理人来不及处理的信息。如：卫星遥感，超级市场，邮政，银行，指纹库。 危险地带：油漆、放射、高温、核电站。 提高工效：自动化带来的好处已经显而易见。 与其他学科的关系 与其他学科的联系与区别 人工智能: 符号主义，连接主义，行为主义，机制主义（结构，功能，行为） 计算智能：神经网络，模糊逻辑，进化计算…… 机器学习：分类，聚类，回归，有监督学习，无监督学习，半监督学习…… 统计学 运筹学 【基本概念】 例2：鲈鱼和鲑鱼识别 传感器： 摄像头 预处理： 统一光照、统一焦距，去除背景，分割… 特征提取： 长度，亮度，重量，鳍的数目… 输入（测量）： 重量，长度，宽度，光泽度（亮还是暗）鳍数目 特征选择：哪个特征能最好的区分两种鱼？ 设计分类器：线性？非线性？ 特征选择：亮度 特征选择：宽度+亮度 分类器设计 分类器设计 分类器设计 分类器的泛化能力 泛化能力/推广能力（Generalization） 设计分类器的中心目标是能够对新样本做出正确的反应，而不是对训练样本的完美分类。 分类模型对训练样本的过分匹配是一种应当努力避免的现象：过拟合（Overfitting） 避免过拟合的方法：避免过于复杂的决策面 复杂的决策面 or 简单的决策面？ 【监督学习与无监督学习】 【半监督学习】 一般来说，在D维空间中要用超表面进行分类，假若我们用平面图表示D维空间中点的分布。如下图。 Salmon(鲑鱼) 与Sea bass (鲈鱼)分类系统  1.底层特征： （1）数值尺度（numerical size）：有明确的数量和数值。 （2）非数值尺度（non-numerical size) ①有序尺度：有先后、好坏的次序关系，如酒 分为上，中，下三个等级。 ②名义尺度(nominal))：无数量、无次序关系， 如颜色：红、 黄、蓝、黑 2. 中层特征：经过计算，变换得到的特征 3. 高层特征：在中层特征的基础上有目的的经过运 算形成 2. 用各种距离度量相似性： 已知两个样本： Xi=(xi1, xi2 , xi3,…,xin)T Xj=(xj1, xj2 , xj3,…,xjn)T ② 欧几里德(Euclidean)距离 ③明考夫斯基(Minkowski)距离 其中当q=1时为绝对值距离，当q=2时为欧氏距离 其中Xi ，Xj为特征向量， 为协方差矩阵。 使用于N个样本的集合中两个样本之间求M氏距离： 马氏距离的优点 1、用逆矩阵的原因是相当于除去scale对距离的影响。如一维的情况下，同样距离都是3，但对于方差大的数据，这个距离就算小了，所以要用距离再除以方差。高维情况就是协方差阵的逆。 2、如：均值分别为a和b两个正态分布的总体，方差不一样，则图中的A点离哪个总体近呢？显然，A离左边的更近，属于左边总体的概率更大，尽管A