模式识别研究应用进展.docVIP

模式识别研究进展 摘要：自20世纪60年代以来，模式识别理论和方法研究及在工程中实际应用取得了很大进展。本文先简明回顾模式识别领域发展历史和关键方法演变，然后围绕模式分类这个模式识别关键问题，就概率密度估量、特征选择和变换、分类器设计多个方面介绍多年来理论和方法研究关键进展，最终简明分析未来发展趋势。 1. 序言 模式识别(Pattern Recognition)是对感知信号（图像、视频、声音等）进行分析，对其中物体对象或行为进行判别和解释过程。模式识别能力普遍存在于人和动物认知系统，人和动物获取外部环境知识，并和环境进行交互关键基础。我们现在所说模式识别通常是指用机器实现模式识别过程，是人工智能领域一个关键分支。早期模式识别研究是和人工智能和机器学习密不可分，如 Rosenblatt 感知机和 Nilsson学习机就和这三个领域亲密相关。以后，因为人工智能更关心符号信息和知识推理，而模式识别更关心感知信息处理，二者逐步分离形成了不一样研究领域。介于模式识别和人工智能之间机器学习在 20 世纪 80 年代以前也偏重于符号学习，以后人工神经网络重新受到重视，统计学习逐步成为主流，和模式识别中学习问题渐趋 重合，重新拉近了模式识别和人工智能距离。模式识别和机器学习方法也被广泛用于感知信号以外数据分析问题（如文本分析、商业数据分析、基因表示数据分析等），形成了数据挖掘领域。模式分类是模式识别关键任务和关键研究内容。分类器设计是在训练样本集合上进行优化（如使每一类样本表示误差最小或使不一样类别样本分类误差最小）过程，也就是一个机器学习过程。因为模式识别对象是存在于感知信号中物体和现象，它研究内容还包含信号/图像/ 视频处理、分割、形状和运动分析等，和面向应用（如文字识别、语音识别、生物认证、医学 图像分析、遥感图像分析等）方法和系统研究。 本文简明回顾模式识别领域发展历史和关键方法演变，介绍模式识别理论方法研究最新进展并分析未来发展趋势。因为 Jain 等人综述[3]已经全方面介绍了 年以前模式分类方面进展，本文侧重于 年以后研究进展。 2. 历史回顾 现代模式识别是在 20 世纪 40 年代电子计算机发明以后逐步发展起来。在更早时候，已经有用光学和机械手段实现模式识别例子，如在 1929 年 Gustav Tauschek 就在德国取得了光学字符识别专利。作为统计模式识别基础多元统计分析和判别分析也在电子计算机出现之前提出来了。1957 年IBM C.K. Chow 将统计决议方法用于字符识别。然而，“模式识别”这个词 被广泛使用并形成一个领域则是在 20 世纪 60 年代以后。1966 年由 IBM 组织在波多黎各召开了第一次以“模式识别”为题学术会议。Nagy 综述和 Kanal 综述分别介绍了 1968 年以前和1968-1974研究进展。70年代几本很有影响模式识别教材（如Fukunaga, Duda Hart）相继出版和 1972 年第一届国际模式识别大会（ICPR）召开标志着模式识别领域形成。 同时，国际模式识别协会（IAPR）在 1974 年第二届国际模式识别大会上开始筹建，在 1978年 第四届大会上正式成立。 统计模式识别关键方法，包含 Bayes 决议、概率密度估量（参数方法和非参数方法）、特征提取（变换）和选择、聚类分析等，在 20 世纪 60 年代以前就已经成型。因为统计方法不能表示和分析模式结构，70年代以后结构和句法模式识别方法受到重视。尤其是付京荪（K.S. Fu）提出句法结构模式识别理论在 70-80 年代受到广泛关注。不过，句法模式识别中基元提取和文法推断（学习）问题直到现在还没有很好地处理，所以没有太多实际应用。 20 世纪 80 年代 Back-propagation (BP) 算法重新发觉和成功应用推进了人工神经网络研究和应用热潮。神经网络方法和统计方法相比含有不依靠概率模型、参数自学习、泛化性能良好等优点，至今仍在模式识别中广泛应用。然而，神经网络设计和实现依靠于经验，泛化性能不能确保最优。90 年代支持向量机(SVM)提出吸引了模式识别界对统计学习理论和核方法(Kernel methods)极大爱好。和神经网络相比，支持向量机优点是经过优化一个泛化误差界限自动确定一个最优分类器结构，从而含有愈加好泛化性能。而核函数引入使很多传统统计方法从线性空间推广到高维非线性空间，提升了表示和判别能力。 结合多个分类器方法从 90 年代前期开始在模式识别界盛行，以后受到模式识别界和机器学习界共同重视。多分类