Mariana：腾讯深度学习平台的进展和应用.pdf

Mariana: 腾讯深度学习平台 进展与应用 腾讯-数据平台部-精准推荐中心 邹永强 2014-12-14 提纲 腾讯深度学习的应用需求 腾讯深度学习平台的挑战 Mariana 平台概述与技术路线 Mariana DNN的架构与应用 Mariana CNN的架构与应用 Mariana Cluster的架构与应用 Mariana GPU Cluster简介 总结 背景：深度学习快速发展 深度学习是近年机器学习中备受瞩目的分支 在语音识别、图像识别等持续取得突破 Eg. ImageNet 1000类图像分类问题：准确率72%85%89%93% 各公司持续发力 基于多层神经网络的复杂模型 模型模拟人脑的结构 模型远复杂于当前的浅层模型 深度学习的发展机遇 海量的数据 高速增长的计算能力 腾讯深度学习的应用需求-微信语音识别 微信 WeChat ：月活跃用户4.7亿 ，2014Q3 语音输入 长按语音消息转文字 语音开放平台 腾讯深度学习的应用需求-微信图像识别 腾讯深度学习的应用需求-广点通广告 QQ ：月活跃用户8.2亿，2014Q3 QQ空间智能终端：月活5.1亿 微信 QQ空间：月活跃用户6.3亿 腾讯深度学习平台的挑战 深度神经网络模型复杂，训练数据多，计算量大 模型复杂：人脑有100多亿个神经绅胞 训练数据多 以微信语音识别为例：超过50,000,000参数，超过4,000,000,000样本 深度神经网络需要支持大模型 更深更宽的网络能获得更好的结果 以图像识别为例，增加卷积层filter数量，加深模型都有改善 深度神经网络训练中超参数多，需要反复多次实验 超参数敏感：模型结构、输入数据处理方式、权重初始化方案、激活函 数选择、参数配置等 非线性模型，倚重技巧和经验 Mariana ：腾讯深度学习平台概述 目标 三个框架 主要应用 深度学习模型训练的幵行方法 Data 0 Data 1 Data 2 Data 3 数据幵行 划分训练数据 各Worker独自训练 交换参数 Worker 0 Worker 1 Worker 2 Worker 3 模型幵行 Data 模型拆分 多个Worker作为1组 同组Worker训练一个 模型 Worker 0 Worker 1 Worker 2 Worker 3 Mariana的设计选择 CPU幵行 vs GPU幵行 对语音识别，1 GPU卡 vs 384 CPU核（32台12物理核的服务器） 数据幵行 vs 模型幵行 语音 vs 图像 同步SGD vs 异步SGD Worker间参数更新方式：有同步点vs 独立地进行 Worker的规模和计算/通信的同步性  One size fits all? No! 针对业务的选择 Mariana三个框架的设计选择 框架 目标业务 计算单元 数据并行 模型并行 SGD模式 Mariana DNN 语音识别