基于Tan-Sigmoid函数参数调整的BP神经网络改进算法.doc

基于Tan-Sigmoid函数参数调整的BP神经网络改进算法 2006年1月 第29卷第1期 重庆大学(自然科学版) JournalofChongqingUniversity(NaturalScienceEdition) Jan.2006 VoI_29No.1 文章编号:1000—582X(2006)01—0150—04 基于Tan.Sigmoid函数参数调整的BP神经网络改进算法 罗兵,黄万杰,杨帅 (重庆大学经济与工商管理学院,重庆柏( 摘要:为提高BP神经网络的性能,对网络的联接权值w和神经元的tan—sigmoid转换函数的参 数,进行调整.使信息分布存储于权值矩阵及转换函数中,比传统的算法具有更强的非线性映射能 力.经严密的数学推导,给出了最终的改进算法公式和1个预测需求量的算例,结果表明,改进后的算法 能有效地减少隐层节点数,且能加快收敛速度和提高收敛精度. 关键词:BP神经网络;tan—sigmoid转换函数;分布存储 中图分类号:0231.2文献标识码:A Rumelhart等…提出的传统BP(BackPropagation) 神经网络的收敛速度很慢,精度不高.现有的改进包括 网络结构和学习算法两个方面.网络结构的改进 主要在互连方式,转换函数及隐层节点,添加惯性冲 量,跳跃学习等方面;学习算法的改进主要有:Leven— berg—Marquardt算法,拟牛顿法,弹性BP法,共轭梯 度法,自适应学习速率法等. 传统BP算法实质上是对Ⅳ(一般为联接权值矩 阵,以下均称为权值)进行调整,而假定各神经元的转 换函数是相同的和不可变更的,即信息仅分布存储于 w之中.生物的学习过程,除了各神经元细胞间联接 强度的调整外,其本身的响应特性也在变动和调整.过 去由于计算机内存等硬件条件的限制,为简化计算,一 般都假设生物体中所有神经细胞都具有相同且不变的 响应特性.而事实上,只要计算机的硬件条件允许,生 物体中各个神经细胞应视为具有可调整的响应特性, 这样可大大地提高BP神经网络的收敛速度和精度. 胡耀垓等在Rumelhart等…研究的基础上,提 出了对w和log—sigmoid转换函数参数的T,0同时进 行调整的改进算法,该算法克服了一些传统BP神经 网络的缺陷.笔者在胡耀垓等研究的基础上,对网 络的权值w和神经元一般形式的tan—sigmoid转换函 数参数如缩放系数,位移参数0等进行了调整. 1算法的数学推导 1.1网络的构成 BP神经网络由许多并行运算的简单神经元组成, 这些神经元类似于生物神经系统的神经元.虽然单个 神经元的结构简单,功能有限,但大量神经元构成的网 络系统所能实现的功能却非常强大. BP神经网络e层拓扑结构如图1所示.图中口(i) 为输入层节点,i=1,2,…,m;口()为隐层节点,J=1, 2,…,P;口(k)为输出层节点,k=1,2,…,n(m,P,分 别为输入层,隐层和输出层节点数);为口(i)的输入 (也是输出);,f分别为口()的输入,输出;,Y分 别为口(k)的输入,输出;y为口(k)的期望输出;为 口(i)与a(j)之间的权值(以下称为隐层的权值);为 a(j)与口(k)之间的权值(以下称为输出层的权值).故 有: = ∑XiW,(1)l=1 = (),(2) = p ∑,i=1 Y=(). (3) (4) 从式(1)一(4)完成了Xi一的映射.式中 + 收稿日期:2005—09—10 作者简介:罗兵(1964一),男,重庆人,重庆大学副教授,博士,主要从事物流与供应链管理和管理决策优化的研究. 第29卷第1期罗兵,等:基于Tan-Sigmoid函数参数调整的BP神经网络改进算法l5l 输 图1BP神经网络3层拓扑结构 分别为隐层和输出层的转换函数,一般为sigmoid函 数,包括l0g—sigmoid或tan—sigmoid转换函数,能将 (一∞,+∞)的输入分别映射到区间(0,1)和(一1, +1)中.具体采用哪一种转换函数,要根据输输出 关系而定:当输出不含有负值时,采用l0g—sigmoid函 数;当输出含有负值时,采用tan—sigmoid函数.这些 转换函数反映了单个神经元的响应特性(即输输 出关系),人工神经网络的非线性映射能力正是来源 于此. tan—sigmoid转换函数的一般形式为: 一 一 2,(,T,)==1一—-=面.(5) e7+e一下1+e丁 缩放系数和位移参数0决定了单个神经元的响 应特性,与w结合形成功能强大的大规模并行信息处 理网络的整体功能.信息分布存储于各权值w及各神 经元转换函数中,在神经节点相同的情况下,比传统网 络具有更强大的信息分布存储能力及非线性映射能 力.神经网络的特点就在于信息的分布式存储和并行 协同处理. 对,(,T,0)关于