bp神经网络教学.ppt

(3)从后向前对各隐藏层结点 ，计算误差 (2)对输出层结点 ，计算误差 (4)更新权值及阈值 (1)从前向后计算隐藏层和输出层结点 的输入 和输出 源代码分析示例 Matlab C++ 几个问题 隐藏层数及隐藏层结点数的确定 若输入层和输出层采用线性转换函数，隐层采用Sigmoid转换函数，则含一个隐层的网络能够以任意精度逼近任何有理函数。 确定隐层节点数的最基本原则是：在满足精度要求的前提下取尽可能紧凑的结构，即取尽可能少的隐层节点数。 几个问题 局部极小问题 BP神经网络采用的算法，其实质是一个无约束的非线性最优化计算过程，在网络结构较大时不仅计算时间长，而且很容易限入局部极小点而得不到最优结果。 解决方法：改进BP法、遗传算法(GA)和模拟退火算法，理论上成立，实际上很难实现全局极小。应用最广的是增加了冲量（动量）项的改进BP算法。 其它问题 判断网络模型泛化能力的好坏，主要不是看测试样本误差大小的本身，而是要看测试样本的误差是否接近于训练样本和检验样本的误差。 BP神经网络学习算法的MATLAB实现 MATLAB中BP神经网络的重要函数和基本功能 函 数 名 功 能 newff() 生成一个前馈BP网络 tansig() 双曲正切S型(Tan-Sigmoid)传输函数 logsig() 对数S型(Log-Sigmoid)传输函数 traingd() 梯度下降BP训练函数 newff() 功能 建立一个前向BP网络 格式 net = newff(PR，[S1 S2...SN1]，{TF1 TF2...TFN1}，BTF，BLF，PF) 说明 net为创建的新BP神经网络；PR为输入的取值范围矩阵；[S1 S2…SNl]表示网络隐含层和输出层神经元的个数；{TFl TF2…TFN1}表示网络隐含层和输出层的传输函数，默认为‘tansig’；BTF表示网络的训练函数，默认为‘trainlm’；BLF表示网络的权值学习函数，默认为‘learngdm’；PF表示性能数，默认为‘mse’。 tansig() 功能 正切sigmoid激活函数 格式 a = tansig(n) 说明 双曲正切Sigmoid函数把神经元的输入范围从(-∞，+∞)映射到(-1，1)。它是可导函数，适用于BP训练的神经元。 logsig() 功能 对数Sigmoid激活函数 格式 a = logsig(N) 说明对数Sigmoid函数把神经元的输入范围从(-∞，+∞)映射到(0，1)。它是可导函数，适用于BP训练的神经元。 例，下表为某药品的销售情况: 月份 1 2 3 4 5 6 销量 2056 2395 2600 2298 1634 1600 月份 7 8 9 10 11 12 销量 1873 1478 1900 1500 2046 1556 现构建一个如下的三层BP神经网络对药品的销售进行预测： 输入层，结点数: 3 隐含层，结点数：5 激活函数： tansig 输出层，结点数：1 激活函数： logsig 采用滚动预测方式，即用前三个月的销售量来预测第四个月的销售量，如用1、2、3月的销售量为输入预测第4个月的销售量，用2、3、4月的销售量为输入预测第5个月的销售量.如此反复直至满足预测精度要求为止。 %以每三个月的销售量经归一化处理后作为输入 P=[0.5152 0.8173 1.0000 ; 0.8173 1.0000 0.7308; 1.0000 0.7308 0.1390; 0.7308 0.1390 0.1087; 0.1390 0.1087 0.3520; 0.1087 0.3520 0.0000]’; %每个输入实例对应一列，故转置 %以第四个月的销售量归一化处理后作为目标向量 T=[0.7308 0.1390 0.1087 0.3520 0.0000 0.3761]; %创建一个BP神经网络，每一个输入向量的取值范围为[0 ,1]，隐含层有5个神经%元，输出层有一个神经元，隐含层的激活函数为tansig，输出层的激活函数为%logsig，训练函数为梯度下降函数，即前述的标准学习算法 net=newff([0 1;0 1;0 1],[5,1],{tansig,logsig},traingd); net.trainParam.epochs=15000; %设置最大迭代次数 net.trainParam.goal=0.01; %设置目标精度 net.trainParam.lr=0.1; %设置学习速率为0.1 net=init(net); %初始化权重 net=train(net,P,T); x=[0.3520