第四章 人工神经元网络.ppt

第四章 人工神经元网络 4.1 概述 4.2 BP神经元网络 4.3 标准BP网络存在的问题 4.4 标准BP网络的改进措施 4.5 人工神经元网络的应用 4.1 概述 一．大脑神经网络 生物神经元结构模型 2．大脑神经系统的功能 大脑的神经元通过突触互相连接，形成了复杂的神经网络系统，实现人类的各种智能行为。作为一个智能的信息处理系统，人脑具有以下几方面的固有特征： （3）神经系统的系统性。 大脑中的各个部件可以看成是一个大系统中的许多子系统，各个子系统之间具有很强的相互关系，一些子系统可以调节另一些子系统的行为。 例如视觉系统和运动系统就存在很强的系统联系，可相互协调各种信息处理功能。 （4）信息分布式记忆。 大脑神经系统的信息存储是分布存储于整个网络中，并体现在神经网络之间突触的结合强度上。当少量神经元受到损伤（或正常死亡）时，网络的总体功能继续有效。联想记忆功能。 人工神经网络以脑神经系统的组成原理为构造基础，模拟了神经信息处理系统的上述四个基本特征，具有广泛的应用价值。 二．人工神经元网络 1．人工神经元模型 人工神经网络中的人工神经元（有时也称为计算单元或计算节点），模拟了大脑神经元的简单特性。人工神经元模型如图所示。 神经元i的输出为 Oi＝f（Ii） 式中，f（）为激发函数。 S型函数具有以下一些良好的特性： 为了进一步提高神经网络的实用性，近年也有将S型函数改进为如下形式 2．人工神经网络 将多个单个神经元按照一定的方式组合成一个网络，就构成了人工神经网络。 除网络中单个神元的特性外，网络的拓扑结构也对网络的特性有重要的影响。 根据网络中神经元的连接方式，将网络分成以下两种基本型式。 4.2 BP神经元网络 BP算法于1986年由Rumelhart等提出来的，通过数学上的详细分析和完整的推导，系统地解决了多层神经元网络中隐层单元连续权的学习问题。 单层感知机虽具有较好的记忆和学习功能，可以进行模式识别（分类），但不能解决非线性问题，于是研究者提出了多层感知机，并采用误差反向传递学习算法（Error Back Propagation，简称 BP算法）进行网络训练。 因为多层前馈网络的训练经常采用误差反向传播算法，所以通常人们都将多层前馈网络直接称为BP网络。由于BP算法得到广泛的使用，BP模型已成为神经网络的重要模式之一。 一、BP网络学习方法的基本思想： 将训练过程分为两个阶段： 第一阶段正向传播，输入信息从输入层经隐含层单元处理后传向输出层，每一层神经元的状态只影响下一层神经元状态。 倘若在输出层得不到希望的输出，则转入第二阶段反向传播，将误差信号沿原来的神经元连接通路返回，通过修改各层神经元的权值，逐次地向输入层传播进行计算。 这样，反复地运用这两个过程，使得误差信号最小，最后使得信号误差达到允许的范围之内，网络就结束学习训练过程。 二、BP算法的基本原理 典型BP网络分为三层，即输入层、隐含层和输出层。 其算法主要由以下四部分组成，即模式顺传播——误差逆传播——记忆训练——学习收敛。 四、应用例 如图用六个神经元组成的BP网络（图a）来产生图b的理想输出。 随机选取的权矩阵为： 4.3 标准BP网络存在的问题 BP网络具有对信息的分布式存储，有一定的容错性和抗干扰性，其最主要的特点是具有很强的非线性影射能力和柔性网络结构，得到了广泛的应用。 4.4 标准BP网络的改进措施 近年来所提出的BP改进方法主要目的是加快训练速度，避免陷入局部极小和改善网络的概括能力。 三、改进误差函数 四、全局优化思想 3、运用聚类分析法。 在网络训练阶段，采用最临近准则，将动态聚类样本用于权重的预置，改进了BP算法中迭代缓慢的缺陷，从而避免了标准BP网络学习中的局部极小问题。4、将GA思想用于BP网络训练。 将GA和BP结合而形成的人工神经元网络（ANN）的方法有两种： （1）先BP、后GA：先用BP培训一个预先选定的结构ANN直到平均误差不再有意义地减少时为止，然后再用GA进行优化，重复这样的搜索，直到满足要求。 （2）先GA，后BP：先用GA优化描述ANN的参数组合，直到适应度函数的平均值不再有意义地增加为止，然后再用精选的样本进行训练优化。 GA——全局收敛，BP——非线性影射 4.5 人工神经元网络的应用 （2）利用BP网络来实现齿轮传动机构中设计变量到齿面接触疲劳强度和齿根弯曲疲劳强度的映射关系，从而简化了计算中反复计算齿形系数、应力校正系数带来的麻烦。 （3