前馈神经网络连续二元蚁群训练模型.pdfVIP

第10R 第6期 软 什 导 刊 VO1．1ONO6 2O11印 6月 SoftwareGuide Jun 2O1l 前馈神经网络连续二元蚁群训练模型 颜晨 阳 (宁波城市职业技术学院，浙江 宁波 315100) 摘 要 ：提 出了一种用离散模型逼近连续模型进而求解连续域上的优化问题的蚁群优化算法Binary—ACO，并将 Bi— nary-ACO与经典 BP训练算法进行混合(LMBP和 sDBP)应用于多层感知机 的训练 问题 中，并在 3个测试数据集上 进行对 比实验 。实验结果证明单一蚁群优化算法作为一种通用的优化算法在前馈神经网络训练问题 中的性能无法 与经典的BP算法相 比较 ，但是蚁群优化算法和 BP经典训练算法结合的混合算法表现性能优 良。两种混合算法(Bi— nary-ACO—sdbp和 BinaryACO—lmbp)都获得 了相当良好的解 ，特别是 BinaryACO—lmbp这种算法不仅 比单一的蚁群 优化算法的性能上有相当的提高而且也优于经典的BP算法。 关键词 ：前馈神经网络；权值训练；连续域蚁群优化模型 中图分类号 ：TP183 文献标识码 ：A 文章编号 ：1672—7800(2O11)06—0028—03 ACO)对二元蚁群优化算法进行一个详细 的阐述 。本小 1 FNNs的经典训练算法 节将分为 3个部分来详细阐述这个算法。第一部分中将 给 出算法的总论 ，第二部分 中给 出解构建过程的描述 ，最 反 向传播 (Back—Propagation，BP)算法是学习前馈 后给出信息素轨迹更新过程 的描述 。 神经网络最常见也是最有力 的工具之一 。它采用梯度下 2．1 算法提要 降方法试图最小化网络输出值和 目标值之间的误差平方： 首先考虑一个 维实数空间上的优化问题 ：解空间为 1 一 一 D ，求解 ∈D ，即 ∈(Ⅱ，b)： E(叫)三÷ ·一： ：(t一0) (1) dE O kff一 ~ tp“， X = argminf(X)，X ∈D (3) 其中，output则是网络输出单元的集合 ，t和 0 是与 其 中-厂为D 到实数域R 的映射 厂：D 一R。 训练样例d的第 k个输 出单元相关的输 出值 。进而通过 再考虑一个二元离散优化 问题 。定义可行解 的有 限 如下方法更新权值 ： 集 ，也即离散解空间 s，元素的有限集 C和费用函数 F。s △ 叫 一一 77· E(叫) (2) 定义为 ： 是权值的向量， E(叫)是梯度，77是学习速率。 S一 {s1，S2，…，s，}， ∈N ， ∈∞ (4) 最基本的BP算法因为采用 了一种最速下降优化技 每个解 s都是～个长度为L的二进制 串，定义为： 术近似方法，所 以也称最速下降反传算法 (SteepestDe—