BP算法实例.doc

多个隐藏层BP网络模型 对一般多层前馈网模型如图所示。 图3.3 多层BP网络结构 设有h个隐层，按前馈顺序各隐层节点数为m1,m2,…,mh；各隐层输出为y1,y2,…,yh；各层权值矩阵分别为W1，W2，…，Wh,Wh+1，则，各层权值调整计算公式为： 输出层 第h隐层 按上述规律逐层类推，可得到第一隐层权值调整计算公式为 三层前馈网的BP学习算法也可写成向量形式： 对输出层 式中 , 对于隐层 式中 , 看出，BP算法中，各层权值调整公式形式上都是一样的，均由3个因素决定，学习率η，本层输出的误差信号δ及本层输入信号Y（或X）。其中输出层误差信号同网络的期望输出与实际输出之差有关，直接反映了输出误差，而各隐层的误差信号与前面各层的误差信号都有关，是从输出层开始逐层反传过来的。反传过程可以简述为： 与比较得到输出层误差信号→计算输出层权值调整量ΔW；通过隐层各节点反传→计算各隐层权值的调整量ΔV. 例 采用BP网络映射下图曲线规律。 设计BP网络结构如下： 权系数随机选取为：w12=0.2,w13=0.3,w14=0.4,w15=0.5, w26=0.5,w36=0.2,w46=0.1,w56=0.4。 取学习率η=1。 按图中曲线确定学习样本数据如下表(每0.05取一学习数据，共80对) x（输入信号） y(教师信号） … x（输入信号） y(教师信号） 0.0000 0.5000 … 3.0000 0.0000 … … … … … 1.0000 1.0000 … 4.0000 0.5000 按表中数据开始进行学习： 第一次学习，输入=0.0000(1节点第1次学习)，，计算2、3、4、5单元状态: =2,3,4,5 计算2、3、4、5各隐层单元输出 (=2,3,4,5) 计算输出层单元6的状态值及输出值 反推确定第二层权系数变化： 第一次反传修正的输出层权为： 反推第一层权系数修正： 第二次学习，， 计算6单元状态： 按表中数据依次训练学习，学习次数足够高时，可能达到学习目的，实现权值成熟。 一般网络学习训练次数很高，采用手工计算是不可能的，需要用计算机程序求解。 3.4.3 BP算法的程序实现 前面推导的BP网络算法是BP算法基础，称标准BP算法。目前神经网络的实现仍以软件编程为主。 现以如图的三层BP网络为例，说明标准BP算法的编程步骤： 图3.2 三层BP网络结构 ——输出层输出向量； —— 输入层到隐层间的权值矩阵； —— 隐层第j个神经元对应的权列向量； —— 隐层到输出层间的权值矩阵； ——输出层第k个神经元对应的权列向量； d=—— 网络期望输出向量。 程序可用一般高级语言编写，如Ｃ等，但考虑方便，最好采用ＭＡＴＬＡＢ语言，特别是ＭＡＴＬＡＢ环境中开发了工具箱（Toolboxes),其中神经网络开发工具（Neural Network)提供很丰富的手段来完成ＢＰ等ＡＮＮ设计与分析。 Neural Network中提供了网络初始化函数用语构建基本网络，可自动生成权值，提供各种转移函数，提供各种训练或学习方法与手段，并实现仿真运算，监视网络训练误差等。 BP网络的训练，可概括归纳为输入已知数据，权值初始化，训练网络三大步 。 用神经网络工具箱训练BP网络，权值初始化和训练网络都可调用BP网络的相应工具函数。调用时，用户只需要将这些工具函数视为黑箱，知道输入什么得到什么即可，不必考虑工具函数内部究竟如何。 ＢＰ网络的一些重要函数和功能(与版本有关)如表3.1。 表3.1BP网络的一些函数及功能 函数 功能 newff 创建一前馈ＢＰ网络(网络初始化函数) Initff 前馈网络初始化（不超３层初始化函数) purelin 线性传递（转移）函数 tansig 正切Ｓ型传递函数（双极性Ｓ函数） logsig 对数正切Ｓ型传递函数（单极性Ｓ函数） deltalin purelin神经元的δ函数 deltatan tansig神经元的δ函数 deltalog logsig神经元的δ函数 trainbp ＢＰ算法训练函数（标准） trainbpx 快速ＢＰ算法训练函数 trainlm Levenberg-Marquardt训练函数 traingd 梯度下降训练函数 traingdm 梯度下降、动