卷积神经网络并行化研究分析.pptVIP

卷积神经网络并行化研究 卷积神经网络串行实现的不足： 训练时间长 无法处理分布式海量数据 传统单机串行实现的卷积神经网络处理大量数据时性能急剧下降，甚至会因为内存不足而宕机。 卷积神经网络可以并行化的原因 信息主要是由各个结构和功能简单的神经元分散保存和处理。 具有天然的分布式存储和并行处理的特性 在网络训练过程中，训练数据和同层特征图、同层神经元信息处理及训练参数的更新可以同时进行。 相关技术介绍 Hadoop MapReduce：云计算平台上的并行编程模型。 工作流程： 输入阶段 Map阶段 Reduce阶段 输出阶段 相关技术介绍 图1.1 hadhoop MapReduce工作流程 相关技术介绍 CUDA技术 NVIDIA公司2007年提出的 支持其GPU进行通用计算的编程模型和开发环境。 相关技术介绍 图1．2 支持CUDA的GPU架构 相关技术介绍 CPU+GPU架构 卷积神经网络 网络结构 三个结构特征： 局部感受域、权值共享和子采样 卷积神经网络 在线更新： 网络的权值和偏置是在每个样本经过前向传播和反向传播处理之后进行更新的。 批量更新： 网络的权值和偏置是在所有的样本被处理完之后进行更新的。 卷积神经网络的并行化设计与实现 卷积神经网络并行化策略 数据集中各训练样本 每个层(前向和反向) 每层各特征图 特征图上各神经元 神经元各权值