深度学习平台建设方案.doc

深度学习平台建设方案 深度学习已经成为人工智能时代的入口，国内外行业巨头纷纷在语音识别、图像识别、自然语言处理等领域拓展深度学习版图，代表性的有谷歌的深度学习框架TensorFlow，Facebook的人工智能计算服务器Big Sur，越来越“聪明”的IBM人工智能Watson，微软的“深度残差学习”，科大讯飞的语音识别云等。 简单地说，深度学习通过构建深层神经网络，模拟人类大脑的工作原理。如图所示，深层神经网络由一个输入层，数个隐层，以及一个输出层构成。每层有若干个神经元，每个神经元模拟人类的神经细胞，而结点之间的连接模拟神经细胞之间的连接。 可以将深度学习理解为大脑的“构建”，虽然潜力无限，但是门槛不可谓不高。 首先，深度学习网络模型复杂，计算量大。以DNN（深度神经网络）为例，它需要模拟人脑的计算能力，而人脑包含100多亿个神经细胞，这要求DNN中神经元多，神经元间连接数量也相当惊人，如此庞大的计算量需要高性能的硬件以及与之配套的软件系统提供支撑。 其次，DNN需要大量数据才能训练出高准确率的模型。为了达到理想的学习效果，DNN需要利用海量训练数据，进行反复多次实验，从而选择合理的选择优化方式，训练出高准确率的模型。因此，深度学习对训练数据提出了较高要求。 再者，对于不少深度学习研究者而言，部署困难成为了一个大问题。很多时候，即使购入了高精尖的深度学习设备，但由于难以部署，高价买回的设备只能搁置。 因此，深度学习成为一个效果很好但门槛极高的方向。而xx大数据发布的DeepRack深度学习一体机，切实帮助解决深度学习应用中遇到的障碍与困境。 平台简介 DeepRack深度学习一体机是南京xx大数据科技股份有限公司自主研发的深度学习软硬件平台，包含24U半高机柜，最多可配置4台4U高性能服务器；每台服务器CPU选用最新的英特尔E5-2600系列至强处理器；每台服务器最多可插入4块英伟达GPU卡；可选配GeForce Titan X、Tesla K40、Tesla K80等各档次英伟达GPU卡；部署有TensorFlow、Caffe等主流的深度学习开源工具软件，并提供大量免费图片数据。根据操作手册用户可快速搭建属于自己的深度学习应用，从而提高了工作效率。DeepRack深度学习一体机具有超高性价比、超高计算性能、超高可靠性等特性，能够为用户提供性能卓越、稳定、便捷、安全的深度学习计算服务。 准系统 DeepRack深度学习一体机内部采用专业GPU服务器设计，特别考虑了散热能力，力保7*24大数据模型训练不间断。每个节点提供两个2000瓦电源，保证了GPU满配情况下的主机供电需要。采用英特尔E5家族系列CPU及英特尔服务器组件，具有性价比高、处理性能优越、可靠性高等特性。深度学习一体机各规格使用的不同CPU性能参数如下表： CPU参数 E5-2620 V3 E5-2650 V3 E5-2697 V3 6核12线程 10核20线程 14核28线程 2.40GHz 2.30GHz 2.60GHz GPU 深度学习是需要训练的，所谓的训练就是在成千上万个变量中寻找最佳值的计算。这需要通过不断的尝试实现收敛，而最终获得的数值并非是人工确定的数字，而是一种常态的公式。通过这种像素级的学习，不断总结规律，计算机就可以实现像像人一样思考。如今，几乎所有的深度学习研究者，包括BAT、谷歌，Facebook等等工业界的大佬，都在使用GPU进行相关的研究。而英伟达具备CUDA支持的GPU为用户学习Caffe、TensorFlow等研究工具提供了很好的入门平台。其实GPU不仅仅是指专注于HPC领域的Tesla，包括Geforce在内的GPU都可以支持CUDA计算，这也为初学者提供了相对更低的应用门槛。得益于硬件支持与软件编程、设计方面的优势，英伟达GPU才成为了目前应用最广泛的平台。下表为英伟达各主流GPU的参数，客户可根据实际需求，选用不同的GPU来做自己的深度学习训练。 英伟达GPU参数表 GPU型号 Titan X K40 K80 Peak single precision floating point performance 7 Tflops 4.29 Tflops 8.73 Tflops CUDA cores 3072 2880 4992 Memory size 12 GB 12 GB 24 GB 平台优势特性 使用DeepRack深度学习一体机解决方案，用户可快速搭建属于自己的深度学习应用。 灵活的高性能硬件配置 ??DeepRack深度学习一体机包含24U半高机柜，最多可配置4台4U高性能服务器；每台服务器CPU选用最新的英特尔E5-2600系列至强处理器；每台服务器最多可插入4块英伟