一种基于数据并行过程神经网络训练算法.docVIP

一种基于数据并行的过程神经网络训练算法 　　摘要：针对过程神经网络时空聚合运算机制复杂、学习周期长的问题，提出了一种基于数据并行的过程神经网络训练算法。该方法基于梯度下降的批处理训练方式，应用ＭＰＩ并行模式进行算法设计，在局域网内实现多台计算机的机群并行计算。文中给出了基于数据并行的过程神经网络训练算法和实现机制，对不同规模的训练函数样本集和进程数进行了对比实验，并对加速比、并行效率等算法性质进行了分析。实验结果表明，根据网络和样本规模适当选取并行粒度，算法可较大提高过程神经网络的训练效率。 　　关键词： 　　中图分类号： ＴＰ１８３文献标识码：Ａ文章编号：２０９５－２１６３（２０１１）０３－００４０－０３ 　　Ａ Ｔｒａｉｎｉｎｇ Ａｌｇｏｒｉｔｈｍ ｏｆ Ｐｒｏｃｅｓｓ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｂａｓｅｄ ｏｎ Ｄａｔａ Ｐａｒａｌｌｅｌ 　　ＸＵ Ｓｈａｏｈｕａ， ＬＩＵ Ｄａｎｄａｎ 　　 　　Ａｂｓｔｒａｃｔ： Aiming at the problems in the complex mechanism of the space-time aggregation operation and long training time of process neural networks, a training algorithm based on data parallel is proposed. Based on batch process of process neural network by the standard gradient descent, the algorithm uses the parallel model of MPI to realize parallel computing of cluster which is composed of multiple computers in local area network. The paper shows a training algorithm and the realizing mechanism of process neural networks based on data parallel. The comparison experiments are carried out under different sizes of training function sample set and different number of processes, and analyzes algorithm properties such as speedup, parallel efficiency. The results show that the algorithm can improve the training efficiency of process neural networks, when the parallel granularity is appropriate. 　　Ｋｅｙ ｗｏｒｄｓ： 　　 　　０引言 　　过程神经网络（Ｐｒｏｃｅｓｓ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ， ＰＮＮ）是一种新型的动态人工神经网络模型[１，２]，由于具有对非线性动态系统直接的辨识建模能力，以及对样本过程模态特征的自适应学习性质，将ＰＮＮ应用于非线性系统的信息处理在机制上具有较好的适应性[３－５]。ＰＮＮ的聚合运算机制复杂，其训练的计算复杂度相比非时变传统神经网络成倍数增加[６]。尽管多年来许多研究人员对神经网络模型和算法进行了改进和优化以提高训练速度，并在某些方面取得了较好的效果[７－１０]，但还普遍存在训练速度慢、易陷入局部极小等缺陷，这些改进算法仍不能满足实际应用的要求。 　　并行计算是提高大规模计算问题效率的有效方法，对于人工神经网络训练，目前也有一些学者建立了若干并行学习模式，并取得了较好的实验结果[１１－１３]。笔者根据ＰＮＮ所具有的本质并行机制和信息处理逻辑，提出了一种基于数据并行的ＰＮＮ训练算法。在算法设计中，将训练样本按照模态特征分布划分给不同的处理机，各处理机对相同的网络模型和不同子样本集进行训练，通过消息机制侦测各计算节点的训练结果并更新网络参数。文中建立了一种基于梯度下降的ＰＮＮ批处理训练算法，对不同规模的训练样本集和进程数进行了对比实验，并对并行算法性质和计算复杂度进行了分析。 　　１ＰＮＮ模型和训练算法 　　１．１过程神经元模型 　　过程神经元的拓扑结构和时空聚合运算机制如图１所示。 　　图１中，ｘ１（ｔ），ｘ２（ｔ），．．．，ｘｎ（ｔ）为过程神经元的时变输入函数；ｗ１（