基于MapReduceGA―BP神经网络算法并行化设计及实现.docVIP

基于MapReduceGA―BP神经网络算法并行化设计及实现 　　摘 要：为提高BP神经网络算法的运行效率，利用遗传算法和并行编程思想，提出了Hadoop平台下基于MapReduce的遗传算法优化BP神经网络的并行化设计及实现方法。利用遗传算法优化BP神经网络的初始权值和阈值，提高算法分类准确率；采用MapReduce并行编程模型实现算法的并行化处理，解决BP神经网络在处理大规模样本数据集时存在的硬件开销和通信开销大的问题。选用Caltech 256图像数据集，与传统的串行遗传算法优化BP神经网络算法实验对比，验证了并行化GA-BP神经网络算法的优越性。 　　关键词：遗传算法；BP神经网络；MapReduce并行编程模型；并行化设计 　　DOIDOI：10.11907/rjdk.171303 　　中图分类号：TP312 　　文献标识码：A 文章编号：1672-7800（2017）007-0040-04 　　0 引言 　　BP（Back Propagation）神经网络是一种多层前馈型神经网络，是一种通过不断修改各层神经元之间的连接权值以及各神经元的阈值，以使网络输出不断逼近期望输出的学习过程[1]。由于它具有很强的泛化能力，并可实现任何复杂程度的非线性映射关系，因此在很多领域得到了广泛应用[2]。然而，BP神经网络算法是基于函数误差梯度下降的思想，不具备全局搜索能力；而且，网络各层之间的连接权值和神经元的阈值在初始训练时是0～1的任意值，这会导致算法收敛速度慢，而且不一定得到最优解。近年来，学者们先后提出一些改进的算法来优化BP神经网络的初始权值和阈值，如遗传算法[3]、粒子群算法、萤火虫算法[4]等。然而，伴随着大数据时代的到来，样本规模愈来愈大，上述传统的串行算法不仅存在硬件支撑瓶颈的问题，而且算法训练时间会变得很长，系统效率明显下降。目前，算法的并行化设计受到广泛关注。郑晓薇等[5]在MPI集群环境下设计了一种多BP神经网络并行集成模型，实现了图像的多语义分类，实验效果良好。刘晶[6]在PVM并行环境下，对大型矩阵运行进行了并行处理，有效降低了矩阵运算的耗时。但是，基于MPI和PVM的并行设计需要开发者对计算机硬件体系结构有较清晰的了解，并且各节点间通信耗时较大，实现也较困难[7]。而近年流行起来的Hadoop平台下的MapReduce框架是一种面向分布式环境的并行计算模式，它向开发人员提供了完整的编程接口，并不需要开发者了解计算机的体系结构，因而逐渐成为当前算法并行化设计的研究热点[8]。针对上述问题，本文提出一种GA-BP神经网络的并行算法，并将其应用于图像分类问题中。该算法在MapReduce并行编程模型下设计并行处理机制，使用遗传算法（Genetic Algorithm，GA）优化BP神经网络的初始权值和阈值，再使用不同的优化后的多个并行BP神经网络训练采用不同的样本集，既保证了BP神经网络能获得最优解，又加快了网络收敛速度，而且在有效降低样本多样性和复杂性对BP神经网络性能影响的同时，大大缩短了训练时间。 　　1 GA-BP神经网络算法 　　BP神经网络算法具有很强的自学习和自适应能力，能够很好地解决非线性映射问题，但因其初始权值和阈值的任意性，导致网络收敛速度慢，并且不一定能获得最优解。因此，有必要对BP神经网络的初始权值和阈值进行优化。遗传算法是一种源于生物进化的智能优化搜索算法，因其设置参数少、收敛速度快，且在计算精度要求时，计算时间少、鲁棒性高、易于实现等特点而得到广泛应用。将遗传算法引入BP神经网络中，优化BP神经网络的初始权值和阈值，将很好地解决BP神经网络由于初始权值阈值的任意性而造成的一些缺陷。其算法分为遗传算法优化阶段和BP神经网络训练阶段。 　　1.1 遗传算法优化阶段 　　（1）种群初始化。个体采用实数编码，由BP神经网络输入层与隐含层的连接权值、隐含层阈值、隐含层与输出层的连接权值、输出层阈值4部分组成。 　　（2）适应度函数确定。根据个体得到BP神经网络的初始权值和阈值，用训练样本训练BP神经网络后预测系统输出，将预测输出和期望输出之间的误差绝对值和E作为个体适应度值 　　（6）更新适应度值并判断是否结束迭代，产生BP神经网络的最优初始权值和阈值。 　　1.2 BP神经网络训练阶段 　　（1）网络初始化。根据样本特征确定网络结构、期望输出、学习速率，接收遗传算法优化得到的最优解个体作为网络的初始权值和阈值。 　　（2）输入训练样本，计算网络各层输出。 　　（3）计算网络学习误差。 　　（4）修正各层连接权值和阈值。 　　（5）判断误差是否满足期望的要求或训练达到设置的迭代次数，如满足条件，则训练结束，否则，继续迭代学习。 　　2 GA-BP神经