基于TanSigmoid函数参数调整的BP神经网络改进算法.docxVIP

基于Tan-Sigmoid函数参数调整的BP神经 网络改进算法 2006年1月 第29卷第1期 重庆大学(自然科学版) JournalofChongqingUniversity(NaturalScienceEdition) Jan.2006 VoI_29No. 1 文章编号：1000—582X(2006)01 —0150—04 基于Tan.Sigmoid函数参数调整的BP神经网络改进算法 罗兵,黄万杰，杨帅 (重庆大学经济与工商管理学院，重庆柏( 摘要:为提高BP神经网络的性能，对网络的联接权值w和神经元的tan—sigmoid 转换函数的参 数，进行调整.使信息分布存储于权值矩阵及转换函数中，比传统的算法具有更强 的非线性映射能 力.经严密的数学推导，给出了最终的改进算法公式和1个预测需求量的算例，结果 表明,改进后的算法 能有效地减少隐层节点数，且能加快收敛速度和提高收敛精度. 关键词:BP神经网络;tan—sigmoid转换函数;分布存储 屮图分类号：0231.2文献标识码:A Rumelhart 等…提出的传统 BP(BackPropagation) 神经网络的收敛速度很慢，精度不高.现有的改进包括 网络结构和学习算法两个方面.网络结构的改进 主要在互连方式,转换函数及隐层节点，添加惯性冲 量，跳跃学习等方面;学习算法的改进主要有:Leven- berg—Marquardt算法，拟牛顿法，弹性BP法,共辘梯 度法，自适应学习速率法等. 传统BP算法实质上是对IV(—般为联接权值矩 阵，以下均称为权值)进行调整,而假定各神经元的转 换函数是相同的和不可变更的,即信息仅分布存储于 w之中?生物的学习过程，除了各神经元细胞间联接 强度的调整外，其本身的响应特性也在变动和调整?过 去由于计算机内存等硬件条件的限制，为简化计算，一 般都假设生物体中所有神经细胞都具有相同且不变的 响应特性?而事实上,只要计算机的硬件条件允许,牛 物体中各个神经细胞应视为具有可调整的响应特性， 这样可大大地提高BP神经网络的收敛速度和精度. 胡耀垓等在Rumelhart等…研究的基础上，提 出了对w和log—sigmoid转换函数参数的T,0同时进 行调整的改进算法，该算法克服了一些传统BP神经 网络的缺陷?笔者在胡耀垓等研究的基础上，对网 络的权值w和神经元一般形式的tan—sigmoid转换函 数参数如缩放系数，位移参数0等进行了调整. 1算法的数学推导 1.1网络的构成 BP神经网络由许多并行运算的简单神经元组成， 这些神经元类似丁生物神经系统的神经元.虽然单个 神经元的结构简单，功能有限，但大量神经元构成的网 络系统所能实现的功能却非常强大. BP神经网络e层拓扑结构如图1所示?图中口⑴ 为输入层节点,i= 1,2,…,m; 口 ()为隐层节点,J= 1, 2,…,P; 口 (k)为输出层节点,k=l,2,???,n(m,P,分 别为输入层，隐层和输出层节点数);为口⑴的输入 (也是输岀);,f分别为口()的输入输出;,Y分 别为口(k)的输入输出;y为口(k)的期望输出;为 口⑴与盹)之间的权值(以下称为隐层的权值);为 a(j)与口 (k)Z间的权值(以下称为输出层的权值).故 有： ZXiW,( 1)1=1 (),(2) P E,i=l Y=(). ⑶ ⑷ 从式⑴一⑷完成了 Xi —的映射?式中 + 收稿 H 期:2005—09—10 作者简介:罗兵(1964 —)，男,重庆人，重庆大学副教授，博士，主要从事物流与供应链 管理和管理决策优化的研究. 第29卷第1期罗兵，等:基于Tan-Sigmoid函数参数调整的BP神经网络改进算法 151 输 图1BP神经网络3层拓扑结构 分别为隐层和输出层的转换函数,一般为sigmoid函 数，包括10g一sigmoid或tan一sigmoid转换函数，能将 (一 +°°)的输入分别映射到区间(0,1)秋一 1, + 1)屮?具体采用哪一种转换函数，要根据输输出 关系而定:当输出不含有负值吋，采用10g—sigmoid函 数;当输出含有负值时，采用tan—sigmoid函数.这些 转换函数反映了单个神经元的响应特性(即输输 出关系),人工神经网络的非线性映射能力正是来源 于此 tan—sigmoid转换函数的一般形式为： 2,(,T,)=1 一一亠面.(5) e7+e 一下 1+e 丁 缩放系数和位移参数0决定了单个神经元的响 应特性，与w结合形成功能强大的大规模并行信息处 理网络的整体功能.信息分布存储于各权值w及各神 经元转换函数屮，在神经节点相同的情况下，比传统网 络具有更强大的信息分布存储能力及非线性映射能 力?神经网络的特点就在于信息的分布式存储和并行 协同处理. 对,(,T,0)关于