关于BP网络的总结.docxVIP

关于BP网络的总结1．辨识模型的建立目前，在人工神经网络的实际应用中，绝大部分的神经网络模型是采用BP网络和它的变化形式。BP网络就是按照误差逆传播（error back propagation）学习算法（BP算法）进行训练的多层前向神经网络，亦称为误差逆传播神经网络。它的优点有： 23第三章基于肌电信号的人手肘关节运动轨迹的预测播，得到输出响应。如果网络输出与需要输出的误差大于标定值，将进行第二步，即输出误差反向传播过程，输出的误差值由输出层开始反向传播到输入层，传播到每一层的误差大小决定该层权值的改变。网络的训练实质上是一个最优化的过程，即找到使输出误差最小的网络权值。训练结束后的网络权值，代表了神经网络输入输出的映射关系。在该网络中，输入层和隐层采用非线性的 Sigmoid 函数（图 3－7 所示）作为神经元激励函数，输出层采用线性函数。图 3－7 Sigmiod函数下面介绍此算法的具体过程：首先，我们定义误差函数为： (3-5) 上式中，为期望输出值，即手臂实际运动角度，为网络输出值，即神经网络预测的手臂运动角度。本文所定误差需小于 0.001，在大于这个限定值以前，需要由输出层开始反向推导网络权系数的修正值。(1).输出层神经元输出值及权值修正： 25第三章基于肌电信号的人手肘关节运动轨迹的预测式中f (? )为线性函数，为隐层 2 中第 j 个神经元与输出层的权系数，为隐层 2 的神经元输出值，＝(3)，＝－1，即把神经元偏置的调整归入权系数的学习中，下面各隐层的情况也与之相同。(2).隐层 2 神经元输出值及权值修正：式中f (? )为 sigmoid 函数，为隐层 1 中第 i 个神经元与隐层 2 中第 j 个神经元的权系数，为隐层 1 中第 i 个神经元输出值。(2)(3).隐层 1 神经元输出值及权值修正：为 sigmoid 函数，为输入层中第 m 个神经元与隐层 1 中第 i 个神经元的权系数，为输入层中第 m 个神经元输入值。开始训练前，用小的随机数将权值初始化。为解决传统的 BP 算法中存在着收敛速度慢，目标函数容易陷入局部极小点的问题，本文在实际训练中采用了如下改进措施：(1).学习率自适应调整：BP 学习算法中学习速率η取值较小，误差波动较小，但学习速度慢；η取值较大，容易引起振荡甚至发散。因此我们采取学习率自适应调整，当连续两次迭代其梯度方向相同时，表明下降太慢，此时将步长增加；当连续两次迭代梯度方向相反时，表明下降过度，这时步长减小。本文中我们采取了如下自适应方法调整：其中：当误差梯度连续变号（除非 min当误差梯度不连续变号（除非 max 26第三章基于肌电信号的人手肘关节运动轨迹的预测当 minη（ k)=η或 maxη（ k)=η时，f ( λ ) =1。λ为选定的大于 1 的常数， maxη和 minη为预先选定的最大和最小学习率，上述方案的思想是，只要不发生振荡就增大学习率直到 maxη，如发生了振荡就以较小的学习率，直到 minη。 (2).加入动量项：动量法在权值修正过程中加入了前一时刻负梯度的影响，相当于加入了阻尼项，降低了网络对误差曲面局部细节的敏感性，减小了学习过程的振荡趋势，有效的抑止了网络陷于局部极小。本文采用改进后的 BP 算法，权值更新为：w( k + 1) = w( k ) +Δ w( K ) + β[ w( k ) ? w( k ?1)] (3-13) 其中β [ w( k ) ? w( k?1)]称为动量项，β称为动量因子，可见，在加入动量项后，权值变化较缓慢时，修正量较大，权值变化较小时，修正量较小。(3).动量因子自适应调整：动量因子是决定收敛速度快慢的因素之一，本文采用如下方法改变β以调整权值的修正步长： (3-15) 3．测试结果及分析受试者在不动的运动速度（运动完成周期分别为 2s,4s,6s,8s），手掌摆放位置（掌心向下，掌心向上）和任意的屈伸角度进行多组试验。在不同组动作的试验中，对该组动作样本任意选取 50 组作为神经网络控制器的训练集，剩余信号为测试集以考察 EMG 信号经过神经网络系统后预测的角度的准确率。设定当训练误差小于 0.001 时网络收敛，图 3-8 显示了均方根误差的收敛过程，从收敛图可以看出，所设计的神经网络快速平稳收敛。 27第三章基于肌电信号的人手肘关节运动轨迹的预测 (1). 网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它可以实现任何复杂非线性映射，这使它特别适合于求解内部机制复杂的问题； (2). 网络能通过学习带正确答案的实例集自动提取“合理的”求解规则，即具有自学习能