分布式数据分析与人工.pdfVIP

分布式数据分析与人工

智能平台及算法实践

涂丹丹金鑫

tudandan@

jinxin11@

123

Caffe:模块化，支持单机多卡，不支持异构平台，主要用于图像分类、识别。

Torch:可读性好，其中网络的基本组成为module，方便实现任意网络的构建

Theano:实现符号微分，DAG表达深度网络、符号计算的开拓者，效率较低，主要用

开源单机深度学习平台于NLP等任务，不适合大规模的深度学习模型训练。

百度PADDLE：基于MPI实现分布式深度学习，已经开源了OCR、人脸识别API

主要是学术界深度学习科研人员开发，用于新算法探索研究。大部分还不支持模型并行

机制、不支持异构平台。

腾讯Marina:目前公开的是单机多卡的平台，主要用于语音识别，采用线性拓扑

结构通讯，支持模型并行和数据并行机制，还没开放API。

企业闭源深度学习平台GoogleDistBelief:支持数据并行模型并行机制，支持上千节点，主要用于

Google内部Gmail，搜索等业务。

闭源不利于很好使用生态圈，Google策略有闭源、开源，或二者结合。

MXNet:混合符号编程和命令式编程，支持数据并行，不支持模型并行；

CNTK:支持数据并行和模型并行，对SGD算法做了优化，并行机制并未开源；

TensorFlow:支持数据并行、模型并行，开源的分布式能力逐步增强

开源分布式深度学习平台Spark+Caffe:在深度学习使用Caffe，Spark在大规模参数计算没有优势；

Poseidon：结合PetuumSSP能力，但深度学习方面仍依赖于Caffe。

主要是Google,微软等大公司推动，目前业界开源较多，在平台并行机制、集群

管理、调度、支持算法丰富度等方面还很不成熟。

深度学习平台的演进趋势：从单机到多机，计算能力提升；平台化，可视化，易用性提升；开源+闭研结合，依赖生

态圈，构建关键竞争力。

深度学习：DBN(DeepBeliefNetwork)、CNN

（ConvolutionalNeuralNetworks）、