[工学]模式识别演示第5章.ppt

第五章 智能模式识别 人工智能与模式识别 人工神经网络简介 BP模型及其算法 一. 人工智能与模式识别 把人工智能引入模式识别，形成了新颖的很有发展前途的人工智能模式识别方法。 国际模式识别著名学者傅京逊（K.S.Fu）曾反复强调：“模式识别必须与人工智能相结合，才能有更大的发展”。 用机器来模拟人类智能，特别是人类对外界的感知能力和思维（联想、判断、推理）能力的模拟，构成了人工智能这一新兴学科. 人工智能模式识别就是试图用人工智能方法来模拟人类的识别能力。 ----------- 人类的思维有逻辑思维和形象思维。 模拟人类逻辑思维的人工智能用于模式识别，以及 模拟人类形象思维的人工神经网络用于模式识别，是目前智能模式识别的两大方向。并且已在实际应用中显示出很大的发展潜力。 下面只介绍人工神经网络方法。 二. 人工神经网络简介 人工神经网络（Artificial Neural Networks，简称，ANN）是模拟人类形象思维的一种重 要 方法。 它来源于神经生理学和解剖学，认为人的思维是通过人脑完成的，人脑的最基本单元是神 经元，约有1010到1012个神经元组成极其复杂的神经网络。为了建立人工神经网络，首先要了解人类神经元的基本知识。 (一) 神经元 神经元是具有突起的细胞（如图36），它由细胞体和细胞突起所组成。细胞突起（简称胞突）是有由细胞质延伸出来的部分，可分为树突和轴突两种。 因而，一个神经元相当于一个多输入单输出的非线性器件。 (二) 神经系统 神经元之间有十分密切的联系。输出端轴突的末端有很多小胞，与另一神经元的树突或细胞体相连接，连接处称为突触。在突触处，通过化学的或电的方式传递冲动信息。这种传递可以是单向的或可逆的。 神经元的较长的轴突称为神经纤维。神经纤维末端称为神经末梢，终止于身体各组织与器官，组成人体神经系统，感受人体内外各种刺激，并传送到中枢。 (三) 人工神经网络 对人类神经元的模拟，构成人工神经元模型。最早的神经元模型由McCulloch和Pitto于1943年提出的，如图37所示。 三. BP模型及其算法 (1) 多层感知器 在本章第二节的几何分类法中，已介绍了线性分类器采用的感知器准则，指出感知器就是一种人工神经网络，可以用来作为一种模式识别的分类器。通过梯度下降算法求解线性判别函数，设计出线性分类器。这种感知器称为单层感知器，只能用在线性可分（见图40）。 (2) BP算法 设计多层感知器的关键是如何根据已知训练样本集（教师信号）来求解各层连接的权值（W），从而求得非线性判别函数。求解方法之一就是BP算法。 由Rumelhart于1986年提出的反向传播（Back－Propagation）算法，简称BP算法。根据该算法，令输入值经多层神经网络正向传播到输出层，根据规定的误差准则（例如最小均方误差、最小二乘误差等），计算输出值与规定的输出值（教师信号）的误差，根据误差值，反向计算并修改各层间权值，如此反复迭代，直至误差小于给定误差值为止，这就称为反向传播。由此得到符合训练集的多层感知器的全部权值，并设计得分类器。**今以双层感知器为例，说明BP算法具体过程。(图41) 2.1 BP网络的构造 2.2 误差准则 设输出层的期望输出值（教师信号）为Tk，则可计算网络输出Ok与教师信号Tk(k=1~ON-1)的误差。 误差准则可以选取不同原则，例如最小二乘误差准则，由此写出误差值E： 2.3 传播过程 BP算法分为正向传播过程和反向传播过程。 正向传播过程开始时，首先使权值初始化，通常取各权值W为(－1～＋1)之间的随机数。输入训练集的样本数据x0,x1,….xn-1,把他们赋予Vi。此时，注意把数据xi作标准化处理（使Vi取值[0~1]）。然后按上述顺序计算,得输出Ok及误差E。设给定的误差限为Elim，若E Elim ，转入反向传播过程。 2.4 训练过程 把BP网络用于模式识别分类器时，首先要有一个训练过程，也就是用已知类别的训练集输入分类器，经BP网络得到的输出与教师信号T比较。教师信号就是分类结果。通常以l表示所属类，0表示非所属类。例如要求分为3类，则有教师信号： 2.5 识别过程 在识别过程中，待识样本输入已训练好的BP网络分类器，经计算，若输出第i个节点为“1”，其余为“0”，则该样本属第i类。否则，该样本不属于这m类范围内。 下面举例说明BP网络的应用。 例23．一种采用神经网络的图象分类方法 本方法用于26个英文字母的自动分类。输入时从已经二值化的字母图象提取64×64个数据点，如图42为字母R的六个样本。每帧图象按Zernike矩阵提取47个矩阵特征值，也就是把64×64个数据压缩成47个数据，称为数据压缩。取BP网络输入层节点数