第2章 人工神经网络.pptVIP

（2）常用改进方法 1）自适应学习速率法 学习率增量因子 学习率减量因子 2）附加动量法 附加动量法是在梯度下降法的基础上引入动量系数。 网络学习的过程就是修改权值的过程，该算法是以前一次的修正结果来影响本次修正量，当前一次的修正量过大时，式中第二项的符号将与前一次修正量的符号相反，从而使本次的修正量减小，起到减小振荡的作用；当前一次的修正量过小时，式中第二项的符号将与前一次修正量的符号相同，从而使本次的修正量增大，起到加速修正的作用。可见，附加动量法总是力图使同一梯度方向上的修正量增加。这种方法加速了收敛速度，并在一定程度上减小了陷入局部极小点的概率。 3）自适应学习速率动量BP法 该算法是将自适应学习速率法和附加动量法相结合，在网络训练过程中，不但使学习速率根据局部误差曲面做出不断调整，而且利用动量项使同一梯度方向上权值的修正量增加，起到加速修正的作用。其学习速率和附加动量的调节公式分别为: 2.人工神经网络 Artificial Neural Networks 2.1 人工神经网络的提出 人工神经网络（ANN），是对人类大脑系统的一阶特性的一种描述。简单地讲，它是一个数学模型，可以用电子线路来实现，也可以用计算机程序来模拟，是人工智能研究的一种方法。 人工智能：研究如何使类似计算机这样的设备去模拟人类认识客观事物和运用知识解决问题的能力。 2.2 人工神经网络的特点 大规模的复杂系统，有大量可供调节的参数； 高度并行的处理机制，具有高速运算的能力； 高度分散的存储方式，具有全息联想的特征； 高度灵活可变的拓扑结构，具有很强的适应能力；高度冗余的组织方式，具有很好的坚韧性； 高度的非线性运算，通过训练和学习来获得网络的权值与结构，具有很强的自学习能力和对环境的适应能力； 高度的集体协同计算，模拟处理与数字处理并存。 2.3 人工神经元 神经元是构成神经网络的最基本单元。 1943年，神经生理学家McCulloch（麦克洛奇）和数学家Pitts（皮兹）定义了神经元模型M-P模型（世界第一个神经计算模型）。 f：阶跃函数 输入向量： 权值向量： 阈值： 输出： 其中： 称为激活函数 激活函数——执行对该神经元所获得的网络输入的变换，也可以称为激励函数、活化函数、响应函数、作用函数等。 MP 神经元模型是人工神经元模型的基础，也是神经网络理论的基础。在神经元模型中，激活函数除了单位阶跃函数之外，还有其它形式。不同的作用函数，可构成不同的神经元模型。 （1）对称型Sigmoid函数 或 （2）非对称型Sigmoid函数 或 （3）对称型阶跃函数函数 采用阶跃作用函数的神经元，称为阈值逻辑单元。 （4）线性函数 1）线性作用函数：输出等于输入，即 2）饱和线性作用函数 3）对称饱和线性作用函数 （5）高斯函数 反映出高斯函数的宽度 2.4人工神经网络的典型结构 目前，神经网络模型的种类比较多，已有近40余种神经网络模型，其中典型的有BP网络、Hopfield网络。 根据神经元的拓扑结构形式不同，神经网络已有十余种不用的连接方式，其中前馈型网络和反馈型网络是最典型的两种结构。 （1）前馈型神经网络 神经元分层排列，顺序连接。由输入层施加输入信息，通过中间各层，加权后传递到输出层后输出。每层的神经元只接受前一层神经元的输入，各神经元之间不存在反馈。 （2）反馈型神经网络 网络的输出信号通过与输入连接而返回到输入端，从而形成一个回路。因此每一时刻网络输出不仅取决于当前的输入，而且还取决于上一时刻的输出。 2.5 人工神经网络的学习 人工神经网络最具有吸引力的特点是它的学习能力。1962年，Rosenblatt给出了人工神经网络著名的学习定理：人工神经网络可以学会它可以表达的任何东西。 (2)神经网络的学习规则 联想式学习 — Hebb学习规则 误差纠正式学习——Delta (δ)学习规则 (1)神经网络的学习方式 有导师（监督）学习方式 无导师（监督）学习方式 人工神经网络连接权的确定通常有两种方法 根据具体要求，直接计算 通过学习得到的,大多数人工神经网络都采用这种方法 学习是改变各神经元连接权值的有效方法，也是体现人工神经网络智能特性最主要的标志。离开了学习，神经网络就失去了其自适应、自组织能力 学习方法是人工神经网络研究中的