自顶向下优化神经网络方法.pdfVIP

第23卷第3期 广东工业大学学报 V01．23 No．3 2006年 9月 JournalofGuangdongUniversityofTechnology September2006 自顶向下优化神经网络的方法 杨钟瑾 (广东商学院信息学院，广东 广州 510320) 摘要：介绍了一种 自动优化神经网络的新启迪方法．这种启迪方法综合采用了快速自顶向下优化神 经网络结构算法、动态优化学习参数算法和快速交叉校验算法．首先，快速自顶向下优化神经网络结 构算法自动地优化神经网络结构；其次，动态优化学习参数算法动态地调整学习参数和选取优化的 学习参数；随后 ，快速交叉校验算法的引入能有效地防止过度适应问题．实验结果显示，这种启迪方 法与其它算法相比，具有更强的归纳性能、优化的网络结构和更快的学习速度． 关键词：神经网络；神经中枢手术优化；自顶向下；学习参数优化；交叉校验 ；归纳 中图分类号：TP183 文献标识码：A 文章编号：1007-7162(2006)03-0095-07 引言 神经网络属于智能机器，通过学习可以获取知识和存储知识，并且能有效地解决问题，从而 吸引众多的研究者与应用者．前馈神经网络是解决非线性问题的极好模型_l，他们的训练通过 梯度下降法优化路径来实现 J．在历史上，人们经常使用反向传播算法 (BP算法)来训练前馈 神经网络 ．BP算法是被Rumelhart，Hinton和Williams发现和提出 的．BP算法有致命的缺 点：容易陷入局部最小值，对初始条件过于敏感和收敛速度缓慢．可是，如果 BP算法具备适合 的初始条件、适当的网络结构和优化的学习参数，那么它就能充分发挥优势而出色地完成各项 事务．随便给出初始条件、学习参数和随意猜测网络结构的情形，都会导致迟缓的、繁杂的学习 过程．因此，一种高性能的网络优化方法值得探索与研究． 理论研究 和仿真试验 都充分证明了以下两种事实：太大的网络结构容易造成归纳性 差；太小的网络结构则造成学习能力低．前馈神经网络通过使连接权数量最小化来实现结构优 化．众所周知，单一的神经网络结构不可能适合所有问题 J．近年来，相继有一些结构优化方法 被提出：(1)规则化，倍受推崇的方法有交叉校验 ；(2)自底向上方法，有著名的瀑流关联算 法 10]；(3)自顶向下方法，神经中枢手术优化算法 就是其中一种有代表性的方法；(4)遗传 算法 ．其中，自顶向下方法具有快速收敛和低敏感于初始条件的长处．优化的学习参数对神 经网络的性能具有深远的影响．学习参数的优化包括：(1)学习率的优化；(2)动量因子优化．在 神经网络学习过程中，学习率是控制连接权改变幅度的重要参数．在选择学习率时应谨而慎之， 太小的学习率使网络收敛迟缓 ，太大的学习率令网络不稳定而导致不收敛_l．动量因子的采用 有助于减少 “锯齿”现象，错误选择动量因子将导致网络收敛缓慢．苛求可以解决所有问题的单 一 学习参数也是不现实的¨．优化学习参数算法可以动态调整和 自动获取优化的学习参数．在 收稿 日期：2006-04—10 作者简介：杨钟瑾(1966．)，男，讲师，博士，主要研究方向为信息分析、预测控制与人工智能等 广东工业大学学报 第23卷 通常BP算法学习进程中，随着网络学习的继续和深入，神经网络所拥有的输入 一输出映射性 能也由简单变为复杂；但是，网络学习若不能在某时刻正确停止，则过多的学习就会引发过度适 应问题．交叉校验方法是预防过度适应问题出现的良方． 由于常规BP算法的固有缺陷和影响神经网络性能的诸多因素，若仅仅采取单一、片面的 算法优化神经网络，虽然能加快网络的收敛速度，但是陷入局部极小点的现象时有发生，因而也 极大地影响神经网络的归纳性能．为了改进网络的全局搜索性能、加快学习速度和增强归纳性 能，本文提出了一种综合采用相关有效算法的新启迪方}基一 一自顶向下优化神经网络方法，并 从理论基础、方法研究、实验仿真与结果讨论等方面进行论述． 1 理论基础 反向传播算法运用迭代梯度下降法来搜索误差曲面上的最小值点，由此来最小