机器学习和深度学习.ppt

* * * * * * 9/9， 3:20pm yufei 王会霞, 1pm, 9/12 9:00am 9/20 wu xiao yan * * * Neural Computation Adaptive Perception NIFAR * * * * * * * * * * * * * * h * * * * * * * * * * * 工业界深度学习平台架构 百度 Facebook Google 腾讯 平台名称 Paddle N/A Disblief Cots Mariana 应用 模型数据 CPU/GPU GPU GPU CPU GPU GPU CPU 硬件规模 1.6W 3台GPU服务器 参数规模 Downpour SGD和L-BFGS 10亿 主要应用 人脸识别和提取 语音识别 图形 语音识别， 图像粗粒 深度学习开源软件 Kaldi Cuda-Covnet Caffe Theano Torch7 OverFeat 领域 语音识别 图像分类 Matlab 免费版 图像识别及特征提取 GPU/CPU GPU GPU GPU GPU/CPU GPU 算法 SGD SGD 设计者 Uni John Hopkins Uiv of Toronto 纽约大学 功能 GPU GPU CPU GPU CPU GPU 实现语言 C++ Cuda C++ Cuda Python 腾讯深度学习平台 Mariana DNN的GPU数据并行框架 CNN的GPU数据并行和模型并行框架 DNN CPU集群框架 GPU服务器为主 4-6 Nvidia Tesla GPU Cards (系列高端科学计算用) 2000流处理器 / GPU card 并行计算 深度学习并行策略 模型并行 将训练数据划分为多份，每份数据有一个模型实例进行训练，再将多个模型实例产生的梯度合并后更新模型 数据并行 模型并行指将模型划分为多个分片，每个分片在一台服务器，全部分片协同对一份训练数据进行训练 流式控制 DNN GPU 的并行架构 DNN的数据并行框架通过同步随机梯度下降进行训练。 每个GPU卡各自训练，并各自产生一份梯度值，然后进行参数交换。 自适应学习率算法，使得支持自适应学习率所需交换的数据量降低了一个数量级。 参数交换的成本 CNN-GPU并行架构 --- 腾讯 　模型拆分 　数据拆分 　流式控制 GPU卡分组 组内两个GPU卡做模型并行， 组间做数据并行  CNN-GPU并行架构 --- 腾讯 　模型拆分 　数据拆分 　流式控制 GPU卡分组 组内两个GPU卡做模型并行， 组间做数据并行  DNN CPU并行架构 目录 机器学习的基础 神经元网络 深层神经元网络 延伸和应用 深层学习实现架构 未来和思考 IBM Synapse 自适应塑料可伸缩电子神经形态系统 SyNAPSE?is a?DARPA-funded program to develop electronic?neuromorphic?machine technology that scales to biological levels. More simply stated, it is an attempt to build a new kind of computer with similar form and function to the?mammalian brain. Such artificial brains would be used to build robots whose intelligence matches that of mice and cats. SyNAPSE is a?backronym?standing for Systems of Neuromorphic Adaptive Plastic Scalable Electronics. It started in 2008 and as of January 2013 has received $102.6 million in funding. It is scheduled to run until around 2016. The project is primarily contracted to?IBM?and?HRL?who in turn subcontract parts of the research to various US universities. IBM Synapse 自适应塑料可伸缩电子神经形态系统 2007 Apr?-?Todd Hylton?joins DARPA to found the project