基于导数优化BP学习算法研究综述.docVIP

基于导数优化BP学习算法研究综述 　　 (1.滨州学院 自动化系, 山东 滨州 256600; 2.重庆工学院 信息与自动化学院, 重庆 400050; 3.北京航空航天大学 第七教研室, 北京 100191) 　　?? 　　摘 要：对基于导数优化的BP算法及其改进算法进行综述，在分析经典BP算法固有缺陷的基础上，对BP的改进算法进行了总结和归纳。首先将改进算法分为四大类，介绍了每个类别中的典型算法，分析了其数学实质及算法的优缺点；然后探讨了目前BP神经网络算法研究中存在的不足；最后作出展望，给出了BP神经网络研究中几个有前途的发展方向。 　　?す丶?词：反向传播算法； 神经网络； 优化； 收敛 　　?ぶ型挤掷嗪牛?TP273 文献标志码：A 　　 文章编号：1001?B3695(2009)03?B0809?B05 　　?? 　　Overviews on research of backpropagation algorithm?? 　　based on derivative optimization 　　?? 　　ZHANG Fangfang??1, HE Juan??2, LI Mingjun3 　　?? 　　(1.Dept. of Automation, Binzhou University, Binzhou Shandong 256600, China; 2.School of Electronic Information Automation, Chongqing Institute of Technology, Chongqing 400050, China; 3. The 7th Research Division, Beihang University, Beijing 100191, China) 　　?? 　　Abstract:This paper summed up backpropagation algorithm and its improvements which were based on derivative optimization. It pointed out the inherent limitation of BP algorithm and dwelled on its typically ameliorative algorithms. First, divided them into four kinds, and introduced every typical algorithms with their advantages and disadvantages. Then discussed the deficiencies that exist in the present research of BP neural networks. At last, the paper made out some prospects, and concluded with some promising tendencyabout research on BP neural networks. 　　??Key words：backpropagation algorithm; neural networks; optimize; convergence 　　?お? 　　Werbos于1974年、Parker于1985年、Rumelhart等人[1]于1986年各自独立地提出了误差反向传播训练算法(BP算法)，基于BP算法学习的前向神经网络也称为BP神经网络。目前在神经网络的实际应用中，80%~90%的神经网络是BP网络或它的变化形式。因此，BP网络是应用最广泛的神经网络，它体现了人工神经网络的精华，受到各个领域的关注。然而BP算法在具体实现中常会出现一些问题，如收敛速度缓慢，往往收敛于局部极小点，出现假饱和现象，不能完全训练的麻痹现象以及数值稳定性差，学习率、动量项系数和初始权值等参数难以调整等。为此，不少学者进行了大量的研究[2~55]，提出了各种不同的改进算法。?? 　　1 经典BP算法?? 　　BP神经网络的学习属于有监督学习，其学习过程由信号正向传播和误差反向传播两部分组成。基本思想是将样本模式从网络的输入层输入，经隐含层的逐层处理后传入输出层。若输出层没有得到期望的输出结果，则将误差进行反向传播；误差信号沿原连接路径返回，网络根据反向传播的误差信号修改各层的连接权值，使误差达到最小。批处理具体算法如下：?? 　　a)网络初始化，初始化学习速率η、误差精度ε等相关参数，并用小的随机数设定权值；?? 　　b)信号正向计算,对n个输入样本