BP算法中设定随训练样本变化的神经元阀值的研讨.pdf

/1 BP算法中设定随训练样本变化 丁 门 丁 的神经元阀值的研究 王 建 吴 捷 华南理工大学电力学院 广州510641 rog句wang@ 幼 共:提出一种新的方式处理BP算法:在陈层和检出层的神经元中设定随训珠样本交 化的阀位，即在有关的每个神经元中设定和训林样本数it相同的一组阀位，在学习完所有样 本后，用常规的BP算法，根据每一组训练样本调整权重和神经元阅值，计算机仿真表明该处 理方法具有德定、快速的收致精度. 关.月:BP算法;训练样本:神经元阀值;收敌精度 Researchonthethresholdsofneurocytessetaccordingtothetraining samplesinBPalgorithm WangJian WuTie ElecrticPowerCollege,SouthChinaUniversityofTechnoloyg,Guaagzhou510641 rogerjwang} AbstractInthispaper,anewmethodofsamplertaininginamultilayerforwardnetwork妙BP algorithmispresented.Eachneurocytebothinhiddenlayerandoutputlayerisendowedwithagroup ofthresholdsnotonecorrespondingtothenumberofsample,andthethresholdsare咧usted accordingtoeachsample勿meansofBPalgorithm.Computersimulationsshowthatthepresented methodisbothefficientandrobustcomparingwithgeneralBPalgorithm. KeywordsBPalgorithm;trainingsample;thresholdofneurocyte;convergence 1引言 误差反传网络 (又称BP网络)一直以来都是神经网络中应用最为广泛的网络模型，已在 函数逼近、模式识别、信号处理、系统辨识等方面得到广泛应用，其突出的优点是具有很强 的非线性映射能力和柔性的网络结构，网络的层数、神经元的个数、学习系数等均可根据具 体情况设定，而且其网络理论也很成熟，业已证明了对于任意闭区间内的连续函数，都可用 具有一个隐层的BP网络来逼近。 BP算法是一个误差修正型的学习算法，学习过程由正向传播和反向传播组成w.在正向 传播过程中，输入信号从输入层传到隐层节点，经过作用函数后，再把隐层节点的愉出信号 传播到输出层节点，每一层神经元的状态只影响下一层神经元的状态，如果在输出层不能得 到期望的输出，则转入反向传播。由梯度法修正各层神经元的权重和阀值，使得误差信号最 /IN. 225 BP网络存在着一些缺陷:如收敛速度慢，容易陷入局部极小，寻找高效的BP算法是推广 神经网络应用的努力方向之一，己有许多BP算法的改进。文献1]〔提出了以共X梯度方向代 替梯度方向进行搜索，并在学习过程中采用不精确的一维搜索等措施;文献幻「设定误差界， 当每个训练模式对应的实际输出与期望输出的误差未达到给定的误差界时.再复训练该模式 对。当条件满足后，才去训练后续的模式对;文献[3l提出进行隐层节点的删除或合并以及学 习步长的自调整:文献[4l提出将系统的历史输入输出和当前时刻的输入结合在一起作为网络 的输入，将当前时刻系统的输出作为网络期望输出来训