神经网络分类器及相关改进实现与比较.pdfVIP

神经网络分类器及相关改进的实现与比较 1 神经网络分类器及相关改进的实现与比较 a b c c * 石贝, 吴含宇, 姚思佳, 杨鑫晟 a 中科院软件所基础软件中心, 北京, 中国, 100190 b 中科院软件所互联网实验室, 北京, 中国, 100190 c 中科院软件所软件工程中心, 北京, 中国, 100190 摘要 神经网络分类器由于具有对噪音数据很高的承受能力从而越来越受到人们的重视。后向传播算法作为神经网络 的主要实现之一，具有简洁的优点，但同时也有收敛速度慢，收敛于局部最优解等缺点。本文实现了后向传播算 法，并对其使用标准数据集进行测试，统计它的分类性能。为了解决神经网络收敛速度慢和收敛于局部最优解的缺 点，本文采用了模拟退火，遗传算法和粒子群优化等高级算法对神经网络进行优化，并采用标准数据集对它们进行 测试。实验结果表明，这些高级算法的应用改进了神经网络的收敛速度，并使神经网络收敛于全局最优解。 关键字：神经网络, 后向传播, 退火, 遗传算法, 粒子群优化 使网络收敛于某个部分最优解，而不是解空间里 1. 引言 [3] 的全局最优解。而模拟退火 算法的作用就是打 神经网络是一种模仿动物神经网络行为特 破神经网络收敛于局部最优解的稳定状态使其重 征，进行分布式并行信息处理的算法及数学模 新收敛，直至收敛于全局最优解为止。 型。这种网络依靠系统的复杂程度，通过调整内 传统的后向传播算法的初始值是通过随机数 部大量节点之间互相连接的关系，从而达到处理 随机产生的。初始产生的种子对训练网络时的迭 信息的目的。它是由大量的简单基本元件——神 代次数、收敛速度和收敛位置有很大程度上的影 [1] 经元相互连接而成的自适应非线性系统 。 响。一个好的初始种子能够使神经网络快速收敛 [4] [2] 于最优解。本文采用了遗传算法 对网络初始种 后向传播算法 作为神经网络的基本实现算 法具有简洁的优点。但是，后向传播算法在调整 子的选取过程进行了优化，使收敛过程更加迅 神经网络时并不一定能找到全局最优解。如果在 速。 解空间中有多个部分最优解，后向传播算法 [5] 粒子群算法 在在获得全局最优解上也有很 强的搜索能力。采用粒子群算法对后向传播算法 ——— * 联系我们：姚思佳. 电话: +86 e-mail: yaosj07@. 2 数据挖掘课程报告 进行优化后，神经网络能够很好的收敛于全局最 随机抽样的方法从训练集随机抽取数据对 优解。 网络进行训练。这大大减弱了训练集数据