神经网络理论基础-read.pptVIP

第2章 典型神经网络 2.1 单神经元网络 §2.2 感知器 (perceptron) 感知器是一种非常特殊的神经网络，它在人工神经网络的发展历史上有着非常重要的地位，尽管它的能力非常有限，只能用于线性分类。 我们以单层感知器来说明： 两个输入 x1 和 x2 。 一个阀值 θ 两个待调整的权值W1和W2 决策函数为 样本集分别属于2类。 很显然，正确分割这两类样本的直线 方程为d(z)=0具体的算法如下，用于确定wi和θ 随机给定一组连接权ωi(k), i= 0，1，2。K=0，表示初始值。 任取其中一个样本 为期望的输出值，或者是期望的函数决策值。 按下式调整连接权?0为学习率 在样本集中另选一个样本，并置k+1?k，重复steps (2)-(4) until 为什么？表示此时的d(x)已能正确分类，∴无须修改。这里介绍的感知器，由于只有一层，故而其分类能力非常有限，不能处理XOR问题。 所以在1969年，Minsky和Papert发表了名为Perceptron的专著, 书中指出,这样的简单的线性感知器的功能非常有限，使得随后的研究处于低潮。 2.2.2 BP网络结构 含一个隐含层的BP网络结构如图7-5所示，图中 为输入层神经元， 为隐层神经元， 为输出层神经元。 图2-5 BP神经网络结构 2.2.3 BP网络的逼近 BP网络逼近的结构如图7-6所示，图中k为网络的迭代步骤，u(k)和y(k)为逼近器的输入。BP为网络逼近器，y(k)为被控对象实际输出，yn(k)为BP的输出。将系统输出y(k)及输入u(k)的值作为逼近器BP的输入，将系统输出与网络输出的误差作为逼近器的调整信号。 图2-6 BP神经网络逼近 用于逼近的BP网络如图2-7所示。 BP算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐层逐层处理，并传向输出层，每层神经元（节点）的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转至反向传播，将误差信号（理想输出与实际输出之差）按联接通路反向计算，由梯度下降法调整各层神经元的权值，使误差信号减小。 2.2.4 BP网络的优缺点 BP网络的优点为： （1）只要有足够多的隐层和隐层节点，BP网络可以逼近任意的非线性映射关系； （2）BP网络的学习算法属于全局逼近算法，具有较强的泛化能力。 （3）BP网络输入输出之间的关联信息分布地存储在网络的连接权中，个别神经元的损坏只对输入输出关系有较小的影响，因而BP网络具有较好的容错性。 BP网络的主要缺点为： （1）待寻优的参数多，收敛速度慢； （2）目标函数存在多个极值点，按梯度下降法进行学习，很容易陷入局部极小值； （3）难以确定隐层及隐层节点的数目。目前，如何根据特定的问题来确定具体的网络结构尚无很好的方法，仍需根据经验来试凑。 由于BP网络具有很好的逼近非线性映射的能力，该网络在模式识别、图像处理、系统辨识、函数拟合、优化计算、最优预测和自适应控制等领域有着较为广泛的应用。 由于BP网络具有很好的逼近特性和泛化能力，可用于神经网络控制器的设计。但由于BP网络收敛速度慢，难以适应实时控制的要求。 2.2.5 BP网络逼近仿真实例 使用BP网络逼近对象： BP网络逼近程序见chap7_1.m 2.2.6 BP网络模式识别 由于神经网络具有自学习、自组织和并行处理等特征，并具有很强的容错能力和联想能力，因此，神经网络具有模式识别的能力。 在神经网络模式识别中，根据标准的输入输出模式对，采用神经网络学习算法，以标准的模式作为学习样本进行训练，通过学习调整神经网络的连接权值。当训练满足要求后，得到的神经网络权值构成了模式识别的知识库，利用神经网络并行推理算法对所需要的输入模式进行识别。 当待识别的输入模式与训练样本中的某个输入模式相同时，神经网络识别的结果就是与训练样本中相对应的输出模式。当待识别的输入模式与训练样本中所有输入模式都不完全相同时，则可得到与其相近样本相对应的输出模式。当待识别的输入模式与训练样本中所有输入模式相差较远时，就不能得到正确的识别结果，此时可将这一模式作为新的样本进行训练，使神经网络获取新的知识，并存储到网络的权值矩阵中，从而增强网络的识别能力。 BP网络的训练过程如下：正向传播是输入信号从输入层经隐层传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播 以第p个样本为例，用于训练的BP网