模式识别研究进展.pdfVIP

模式识别研究进展 摘要 自20世纪60年代以来，模式识别的理论与方法研究及在工程中的实际应用取得了很大的进展。 本文先简要回顾模式识别领域的发展历史和主要方法的演变，然后围绕模式分类这个模式识别的核 心问题，就概率密度估计、特征选择和变换、分类器设计几个方面介绍近年来理论和方法研究的主 要进展，最后简要分析将来的发展趋势。 1. 前言 模式识别(Pattern Recognition)是对感知信号（图像、视频、声音等）进行分析，对其中的 物体对象或行为进行判别和解释的过程。模式识别能力普遍存在于人和动物的认知系统，是人和动 物获取外部环境知识，并与环境进行交互的重要基础。我们现在所说的模式识别一般是指用机器实 现模式识别过程，是人工智能领域的一个重要分支。早期的模式识别研究是与人工智能和机器学习 密不可分的，如 Rosenblatt 的感知机[1]和 Nilsson的学习机[2]就与这三个领域密切相关。后来， 由于人工智能更关心符号信息和知识的推理，而模式识别更关心感知信息的处理，二者逐渐分离形 成了不同的研究领域。介于模式识别和人工智能之间的机器学习在 20 世纪 80 年代以前也偏重于符 号学习，后来人工神经网络重新受到重视，统计学习逐渐成为主流，与模式识别中的学习问题渐趋 重合，重新拉近了模式识别与人工智能的距离。模式识别与机器学习的方法也被广泛用于感知信号 以外的数据分析问题（如文本分析、商业数据分析、基因表达数据分析等），形成了数据挖掘领域。 模式分类是模式识别的主要任务和核心研究内容。分类器设计是在训练样本集合上进行优化 （如使每一类样本的表达误差最小或使不同类别样本的分类误差最小）的过程，也就是一个机器学 习过程。由于模式识别的对象是存在于感知信号中的物体和现象，它研究的内容还包括信号/图像/ 视频的处理、分割、形状和运动分析等，以及面向应用（如文字识别、语音识别、生物认证、医学 图像分析、遥感图像分析等）的方法和系统研究。 本文简要回顾模式识别领域的发展历史和主要方法的演变，介绍模式识别理论方法研究的最 新进展并分析未来的发展趋势。由于 Jain 等人的综述[3]已经全面介绍了 2000 年以前模式分类方 面的进展，本文侧重于 2000 年以后的研究进展。 2. 历史回顾 现代模式识别是在 20 世纪 40 年代电子计算机发明以后逐渐发展起来的。在更早的时候，已 有用光学和机械手段实现模式识别的例子，如在 1929 年 Gustav Tauschek 就在德国获得了光学字 符识别的专利。作为统计模式识别基础的多元统计分析和鉴别分析[4]也在电子计算机出现之前提 出来了。1957 年IBM 的C.K. Chow 将统计决策方法用于字符识别[5]。然而，“模式识别”这个词 被广泛使用并形成一个领域则是在 20 世纪 60 年代以后。1966 年由 IBM 组织在波多黎各召开了第 一次以“模式识别”为题的学术会议[6]。Nagy 的综述[7]和 Kanal 的综述[8]分别介绍了 1968 年 以前和1968-1974的研究进展。70年代几本很有影响的模式识别教材（如Fukunaga [9], Duda Hart [10]）的相继出版和 1972 年第一届国际模式识别大会（ICPR）的召开标志着模式识别领域的形成。 同时，国际模式识别协会（IAPR）在 1974 年的第二届国际模式识别大会上开始筹建，在 1978年的 第四届大会上正式成立。 统计模式识别的主要方法，包括 Bayes 决策、概率密度估计（参数方法和非参数方法）、特 征提取（变换）和选择、聚类分析等，在 20 世纪 60 年代以前就已经成型。由于统计方法不能表示 和分析模式的结构，70年代以后结构和句法模式识别方法受到重视。尤其是付京荪（K.S. Fu）提 出的句法结构模式识别理论在 70-80 年代受到广泛的关注。但是，句法模式识别中的基元提取和文 法推断（学习）问题直到现在还没有很好地解决，因而没有太多的实际应用。 20 世纪 80 年代 Back-propagation (BP) 算法的重新发现和成功应用推动了人工神经网络研 究和应用的热潮。神经网络方法与统计方法相比具有不依赖概率模型、参数自学习、泛化性能1 良 好等优点，至今仍在模式识别中广泛应用。然而，神经网络的设计和实现依赖于经验，泛化性能不 能确保最优。90 年代支持向量机(SVM)的提出吸引了模式识别界对统计学习理论和核方法(Kernel