基于分层遗传算法的BP神经网络学习算法-杭州师范大学学报.PDFVIP

第 7 卷第 2 期 杭州师范大学学报 (自然科学版) Vol .7 N o .2 2008 年 3 月 Journa l of Hangzhou Normal Universit y (Natural Science Edit ion) Mar .2008 文章编号 :1674 - 232X (2008)02 - 0135 - 04 基 于 分 层 遗 传 算 法 的 B P 神 经 网络 学 习算 法 赵 青 (漳州 师范 学院 数 学与信 息科学 系,福建 漳 州 363000) 摘 要 : 针对 BP 算法局部搜索能力强,而分层遗传算法全局搜索优势突出的特点,结合二者优势构造 了一 种分层遗传算法与 BP 算法相结合的前馈神经网络学习算法 .将分层遗传算法引入 到前馈神经 网络权值和 阈值 的早期训练 中,再用 BP 算法对前期训练所得性能较优 的网络权值、阈值进 行二次训练得到最终结果 .仿真 结果 表 明,该混合学习算法能够较快地收敛到全局最优解,优于 BP 算法、分层遗传算法,具有一定的实用价值 . 关键词 : 前馈神经网络 ;网络训练 ;BP 算法 ;分层遗传算法 中图分类号 : T P18 文献标志码 : A 0 引 言 人工神经网络是在对人脑神经运作机制的抽象和模拟基础上发展起来的一种计算模型,具有记忆、联 想、自适应及 良好的鲁棒性等一系列优点 .近年来,神经 网络技术发展迅速, 已广泛应用于模 式识别、智能 控制、信号处理、非线性优化等领域,产生了深远的影响,但仍存在一些难 以解决的问题 . 目前,对于多层前馈神经网络的权值、阈值学习问题,还没有完全有效的解决办法 .比较常用的学习方 法是 BP 算法 .一般地,将用 BP 算法学习的前馈神经网络称为 B P 神经网络 .但 B P 算法本质上是基于梯 度下降原理构造的,因而存在收敛速度慢,易于陷入局部极小点等缺点[1] ,使得网络学习效果不够好 . 由 H olland J 教授提出的遗传算法是一种 高效 的全局寻优算法, 已成功地解 决 了诸 多全局优化 问 题[2,3 ,4] .分层遗传算法 (H GA)作为基本遗传算法 (SG A) 的一种 改进算法, 比 SGA 具有更强 的全局搜 索 能力 .因此,可 以将全局搜索能力突出的 H GA 与局部搜索能力强的 BP 算法结合起来,构造基于分层遗传 算法的 BP 神经网络学习算法,用于前馈神经网络的权值、阈值学习,应能取得好的效果 . 1 BP 算法 B P 算法的出现 比较有效地解 决 了多层前馈神经网络 的学 习 问题, 极大地推动 了这一领域 的研 究 工作 . B P 算法的基本思想[1] 是 :学习过程 由信号的正向传播与误差的反 向传播两个过程组成 . 1)正向传播时,输入样本从输入层输入,经各隐层处理后,传 向输出层 .若输出层的实际输出与期望的 输出不符,则转入误差的反 向传播阶段 . 收 稿 日期 :2007-12-19 作 者简 介 :赵 青 (1980—),女,湖 北宜 昌人,助教,硕 士,主要从 事智 能计算 研究 . 136 杭州师范大学学报 (自然科学版) 2008 年 2)误差反传是将输出误差 以某种形式通过各隐层 向输入层逐层反传,并将误差分摊给各层的所有神 经元,从而获得各层神经元的误差信号,此误差信号即作为修正各神经元权值的依据 . 信号正向传播与误差反 向传播的各层权值调整过程周而复始地进行,直到 网络输 出的误差减少到可 接受的程度,或进行到预先设定的学习次数为止 . 2 分层遗传算法 分层遗传算法 (H G A)是一种改进的遗传算法,它与基本遗传算法相 比能够更好地模拟生物进化过程 中不同地域同种物种间的关系,更有利于维持种群多样性得到更优解 . H GA 的实现方法[2] : 对于一个 问题,首先随机地生成 N ×n 个样本 (N ≥2, n ≥2),然后将它们分成 N 个子种群,每个子种 群包含 n 个样本,对每个子种群独立地运行各 自的遗传算