第1章 人工神经网络.ppt

1.7 算法的改进 （1）BP网络的不足 1）需要较长的训练时间 对于一些复杂的问题，BP算法可能要进行几小时甚至更长时间的训练，这主要是由学习速率太小所造成的，可采用变化的学习速率或自适应的学习速率来加以改进。 2）不能完全训练 在网络的训练过程中，当其权值调得过大，可能使得所有的或大部分神经元的加权总和偏大，这使得激活函数的输入工作在S型转移函数的饱和区，导致梯度变化率非常小，从而使得对网络权值的调节过程几乎停顿下来，通常为了避免这种现象的发生，一是选取较小的初始权值，二是采用较小的学习速率，这势必增加网络的训练时间。 3）容易陷入局部极小值 BP算法采用的是梯度下降法，训练是从某一起始点沿误差函数的斜面逐渐达到误差的最小值。对于复杂的网络，其误差函数为多维空间的曲面，因而在训练过程中可能陷入某一小谷区，而这一小谷区产生的是一个局部极小值。由此点向各方向变化均使误差增加，以致于使训练无法逃出这一局部极小值。 4）结构不确定性 网络隐含层的层数及单元数的选取无理论上的指导，而是根据经验确定的，因此网络的设计有时不是最佳的。 （2）常用改进方法 1）自适应学习速率法 学习率增量因子 学习率减量因子 2）附加动量法 附加动量法是在梯度下降法的基础上引入动量系数。 网络学习的过程就是修改权值的过程，该算法是以前一次的修正结果来影响本次修正量，当前一次的修正量过大时，式中第二项的符号将与前一次修正量的符号相反，从而使本次的修正量减小，起到减小振荡的作用；当前一次的修正量过小时，式中第二项的符号将与前一次修正量的符号相同，从而使本次的修正量增大，起到加速修正的作用。可见，附加动量法总是力图使同一梯度方向上的修正量增加。这种方法加速了收敛速度，并在一定程度上减小了陷入局部极小点的概率。 3）自适应学习速率动量BP法 该算法是将自适应学习速率法和附加动量法相结合，在网络训练过程中，不但使学习速率根据局部误差曲面做出不断调整，而且利用动量项使同一梯度方向上权值的修正量增加，起到加速修正的作用。其学习速率和附加动量的调节公式分别为: 4）基于误差自动调节修正因子的自适应学习速率法 5）弹性BP算法 6）LM优化法 7）同伦BP算法 1.8 算法实例分析 智能信息处理 Intelligent Information Processing 李建坡 信息工程学院 内容简介 1.人工神经网络 2.模糊理论 3.数据挖掘 4.粗糙集理论 5.蚁群算法 6.支持向量机 7.灰色系统理论 8.信息融合 9.专家系统 10.云计算 11.聚类分析 12.遗传算法 13.粒子群算法 14.免疫算法 15.模拟退火算法 …… 1.人工神经网络 Artificial Neural Networks 1.1 人工神经网络的提出 人工神经网络（ANN），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。 智能:个体有目的的行为，合理的思维，以及有效的、适应环境的综合能力。是个体认识客观事物和运用知识解决问题的能力。 人工智能：研究如何使类似计算机这样的设备去模拟人类的这些能力。 1.2 人工神经网络的特点 大规模的复杂系统，有大量可供调节的参数； 高度并行的处理机制，具有高速运算的能力； 高度分散的存储方式，具有全息联想的特征； 高度灵活可变的拓扑结构，具有很强的适应能力；高度冗余的组织方式，具有很好的坚韧性； 高度的非线性运算，通过训练和学习来获得网络的权值与结构，具有很强的自学习能力和对环境的适应能力； 高度的集体协同计算，模拟处理与数字处理并存。 1.3 人工神经元 神经元是构成神经网络的最基本单元。 1943年，神经生理学家McCulloch（麦克洛奇）和数学家Pitts（皮兹）定义了神经元模型M-P模型（世界第一个神经计算模型）。 f：阶跃函数 输入向量： 权值向量： 阈值： 输出： 其中： 称为激活函数 激活函数——执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数、响应函数、作用函数等。 MP 神经元模型是人工神经元模型的基础，也是神经网络理论的基础。在神经元模型中，激活函数除了单位阶跃函数之外，还有其它形式。不同的作用函数，可构成不同的神经元模型。 （1）对称