BP算法推导及其他.docVIP

BP网络的训练 无论是函数逼近还是模式识别，都必须对神经网络进行训练。训练之前首先需要样本，样本中包含输入向量P以及相应的期望输出向量T，训练过程中应不断调整权值和阈值，使得神经网络的表现函数达到最小。前馈神经网络的表现函数缺省为网络输出a和期望输出T的均方差msa。 BP网络学习规则指导思想是：对网络权值和阈值的修正要沿着表现函数下降最快的方向——负梯度方向。 其中，是当前的权值和阈值，gk是当前表现函数的梯度，是学习率。 假设三层BP网络，输入层节点，隐含层节点，输出层节点。输入节点与隐层节点的网络权值为，隐层节点和暑促节点间的网络权值为。当输出节点的期望值为时，模型的计算公式如下： 隐层节点的输出： 其中 输出节点的输出： 其中 输出节点的误差 误差函数对输出节点求导 E是多个zk的函数，但只有一个zl与vlj有关，各zk间相互独立，其中 则 设输出节点误差为 则 误差函数对隐层节点求导 E是多个zl的函数，针对某一个wji对应一个yj，它与所有zl有关，其中 又 则 设隐层节点误差为 （注意不是的导数，而是另一个误差，两者没有直接求导关系） 则 由于权值的修正，正比于误差函数沿梯度下降，则有 （是与无关的常数） 其中，隐层节点误差中的表示输出节点zl的误差通过权值向隐层节点yj反向传播成为隐层节点的误差。 阈值的修正 阈值也是变化值，在修正权值的同时也需要修正，原理同权值修正一样。 误差函数对输出节点阈值求导 其中 则 阈值修正 误差函数对隐层节点阈值求导 其中 则 阈值修正 传递函数f(x)的导数 S型函数 则 对输出节点 则 对隐层节点 则 其中 加入动量项，加快网络收敛速度 动量考虑了过去权值变化的影响。动量常数决定这项的重要性。加入动量项时，权值调整如下： 对于隐层： 对于输出层： MATLAB中的BP网络训练与仿真 构建BP网络： net=newff(PR,[s1,s2,…sN1],{TF1,TF2,…TFN1},BTF,BLF,PF) 训练： [net,tr]=traingdm(net,P,T ) 梯度下降算法(traingd函数) 训练参数： net.trainParam.epochs //最大训练次数（缺省为10） net.trainParam.goal //训练要求精度（缺省为0） net.trainParam.lr //学习率（缺省为0.01） net.trainParam.max_fail //最大失败次数（缺省为5） net.trainParam.min_grad //最小梯度要求（缺省为1e-10） net.trainParam.show //显示训练迭代过程（NaN为不显示，缺省为25） net.trainParam.time //最大训练时间（缺省为inf） 改进BP算法 有动量的梯度下降算法：函数traingdm，增加参数： net.trainParam.mc //动量因子(缺省为0.9） 有自适应lr的梯度下降法：函数traingda，增加参数： net.trainParam.lr_inc //学习率lr增长比（缺省为1.05） net.trainParam.lr_dec //学习率lr下降比（缺省为0.7） net.trainParam.max_perf_inc //表现函数增加最大比（缺省为1.04） c．有动量的自适应lr梯度下降法：函数traingdx，增加a，b中所有参数 还有一些要用到的函数说明： minmax() 矩阵行向量的范围（返回行向量最小值，最大值构成的Nx2矩阵） nntool 神经网络GUI图形用户界面 initwb 权值阈值层初始化函数 learngd 梯度下降法权值/阈值学习函数 learngdm 带有动量的梯度下降法权值/阈值学习函数 dnetprod 网络输入求积的导数函数 dntsum 网络输入求和的导数函数 netprod 网络输入求积函数 netsum 网络输入求和函数 init 初始化一个神经网络 sim 仿真一个神经网络 train 训练一个神经网络 newff 创建一个BP网络 newp 创建一个感知器网络 mse 均方误差性能函数 plotpc 在感知器向量