第五章+目标自动识别-4重点.ppt

* 美国模式识别的领军人物，麻省理工学院的人工智能实验室的创始人之一，人工智能研究的先驱、数学家、计算机科学家马文·明斯基 机器人是典型的人工智能应用；美国国防部高级研究计划署支持的项目“机器骡子” ；大量应用与商务笔记本的指纹识别技术 2、 特征选择与提取 特征选择的基本任务是研究如何从众多特征中求出那些对识别最有效的特征，从而实现特征空间维数的压缩。 从模式样本的量测值中提取与选择最能反映类别属性的特征,主要方法包括： 最小误判概率准则、Fisher准则、判决边界、离 散K-L变换等。 根据应用需求选择合适的特征，不同应用对特征的需求不同。 为了设计出效果好的分类器，通常需要对原始的测量值集合进行分析，经过选择或变换处理，组成有效的识别特征； 在保证一定分类精度的前提下，减少特征维数，即进行“降维”处理，使分类器实现快速、准确和高效的分类。 为达到上述目的，关键是所提供的识别特征应具有很好的“可分性”，使分类器容易判别。为此，需对特征进行选择。 我们要选择那些在特征向量空间中类间距离大而类内方差小的特征。也就是说不同类别间的特征值距离较远，而同一类内的特征值紧密聚集。 最后将采用不同的处理方法 应去掉模棱两可、不易判别的特征； 所提供的特征不要重复，即去掉那些相关性强且没有增加更多分类信息的特征。 将特征综合考虑，对特征向量作线性或非线性变换，使其具有更好的辨别能力 选择最优特征需要具备三个条件： 样本数量能覆盖样本集的分类特征 有一种比较好的分类判据 一个切实可行的算法 特征抽取： 线性特征抽取： 主成分分析PCA、ICA、LPP、Fisher线性鉴别分析FLDA等 非线性特征抽取：核方法、流形学习 流形学习：ISOMAP、LLE、Laplacian Eigenmap、 图嵌入方法。 核方法：是指一系列先进非线性数据处理技术的总称，它采用非线性映射将原始数据有数据空间映射到特征空间，在特征空间进行对应的线性操作。例如：KPCA、KLPP 为什么要数据降维？ 高维数据的统计分析需求日益凸显，高维数据的直接处理难度很大： 计算量增大； 数据的可视性差； 维数灾难，当维数较高时，即时数据的样本点很多，散步在高维空间中的样本点仍显得很稀疏，低维时的方法失效或不稳定。 降维－重要的一步，也是观察数据特性的手段 降维 特征选择:依据某一标准选择性质最突出的特征 特征变换:经已有特征的某种变换获取约简特征 数据可视化和数据挖掘分析也需要降维 通常降到2维或3维 流形降维来观测数据的内在形状 局部线性嵌入(LLE). S. T. Roweis and L. K. Saul. Nonlinear dimensionality reduction by locally linear embedding. Science, vol. 290, pp. 2323--2326, 2000. 等距映射(Isomap). J.B. Tenenbaum, V. de Silva, and J. C. Langford. A global geometric framework for nonlinear dimensionality reduction. Science, vol. 290, pp. 2319--2323, 2000. 拉普拉斯特征映射(Laplacian Eigenmap). M. Belkin, P. Niyogi, Laplacian Eigenmaps for Dimensionality Reduction and Data Representation. Neural Computation, Vol. 15, Issue 6, pp. 1373 –1396, 2003 .? 几种流形学习方法 3、分类器设计 模式识别分类问题是指根据待识别对象所呈现的观察值，将其分到某个类别中去： 建立特征空间中的训练集，已知训练集里每个点的所属类别； 从这些条件出发，寻求某种判别函数或判别准则，设计判决函数模型； 根据训练集中的样本确定模型中的参数； 将这一模型用于判别，利用判别函数或判别准则去判别每个位置点的类别应该属于哪一类。 分类器设计: 模式识别的基本方法就是制定准则函数，实现准则函数的极值化。常用的准则有以下几种： 最小错分准则 最小风险准则 紧邻准则 Fisher准则 感知准则 最小均方误差准则 首先介绍与机器学习有关的知识： “Artificial Intelligence” Within a generation ... the problem of creating ‘artificial intelligence’ will largely be solved Marvi