BP神经网络初始化问题探讨研究.pdf

万。 丁 们 BP神经网络初始化问皿探讨 r | 吕迎阳吴伯倍徐懊初 陈振湘 陈剑勇 里门大学物理系，拐建，及门，361005 AbouttheInitializationofBPNeuralNetwork Yingyang城BoxiWu,ShenchuXu,ZhenxiangChen,JianyongChen Departmentofphysics}XimenUniversiyt,Xiamen,Fujisn,361005 州u@usanet AbstractRanyongChenetcl[1]hadproposedthatinitializingtheconnection C亡eSS weightsandthresholdsofBPneuralnetworkwithchaoticvaluescanimprovethesu rateoflearning,andgiventheXORproblemasanexample.Inthispaperweexplaintheir examplewithgeometricknowledge,andthink山atmorestudiesareneededtosaywhether chaoticinitialvaluescanfavorthelearning. KeywordsBPalgorithm,Initialweights,Chaoticseries. 1.引言 JianyongChen等人在98年北京神经网络和脑处理国际会议 ((ICNNB`98)上撰文 (以下 简称J文)，认为初始权重及阅值采用混沌序列可以提高即网络在学习过程中避开局部极小点 的能力 1【]，从而提高学习的成功率，并给出了学习异或问题的例证。本文从几何的观点分析 了该例证成功的原因，认为在该例证中初始值的正负号选取是关键因素，并推论出另一正负 号选取方法.计算机模拟证实了新的方法的有效性。在此基础上我们认为混沌序列初始化对 loll网络学习过程的影响尚待进一步论证。同时我们根据BP算法的特点给出了初始化的小值原 则。 2.J文中所用例证的分析 2.12一2一1结构的BP网络与异或问跪 三层BP网络学习异或问题属于模式分类问题。此时BP网络可看作连续化了的感知器， .202. 因而其工作机理定性地与感知器相同:各个隐单元均对输入空间作出划分，输出层的单元再 对隐单元的愉出进行综合判别。具体到异或问题如下图所示:隐单元h}划分并识别直 12 I0l}012z0 0 11 11 夕 、 h2 1 11 10 二成 h2Ih2 图1 图2 线h，上半平面的样本，隐单元h:划分并识别直线hb下半平面的样本:输出单元则对两隐 单元的输出作 逻“辑与”运算幻〔。 Fig.1中右图为理想划分状态。实际中只要求h，直线将原点与两个黑点划分开即可，同 理对h2直线也可放宽限制。因此实际中两条划分线有较宽的 “工作区域 “。 2.2J文所用的混沌序列初始化的特点 J文中生成混沌序列的系统为:xFtanh(6.Ox)exp(-0才)。显然由这一混沌信号发生 器产生的混沌序列其所有元素均为小于1的正数。 隐单元状态为;人=(