NVIDIA深度学习实验室解决方案.pdfVIP

NVIDIA 深度学习实验室解决方案 1 深度学习实验室建设的意义和背景  人工智能人才市场需求量大 有预测在2018 年百分之八十的企业将部署人工智能产业链，国家和企业都需要大 量的人才补充，而我们的高校和职校还没有建立完整的教育课程和实践环境。  GPU 资源相对集中，个人无法承受 由于GPU 相对昂贵，普通学生无法承担，往往是学校的超算中心和部分教授有购 买力，但是深度学习框架大量开源，学生有能力自学理论知识但无实践环境来检验自 学效果。虽然有部分师生用消费级卡来实验，但是这与企业的使用环境相去甚远。  校级GPU 平台资源浪费、管理困难 大多数学校发现校级GPU 计算资源被初学者占用，往往导致真正科研计算任务匮 乏计算资源，基于Docker 环境的计算管理环境常常发生计算资源抢占现象，让管理者 应接不暇各种投诉。管理者非常需要了解GPU 的使用情况。  人工智能教师队伍缺乏，教程不系统 虽然人工智能教材不断涌现，但是学校的这方面的师资队伍还处于建设初期，教 师没有经过系统的学习和实践过程。 2 NVIDIA 深度学习解决方案 NVIDIA 深度学习解决方案是NVIDIA 公司推出的基于NVIDIA GPU 虚拟化以及 NVIDIA Docker 技术，再配合NVIDIA 深度学习学院培训体系的一体化人工智能实验室解 决方案。该方案采用以用户为中心的计算模式、按需向用户提供GPU 资源、框架资 源、深度学习环境。保障用户对GPU 资源的独享，保证用户获取足够的自由度和较高 的用户体验，同时满足集中管理和数据安全的需求，灵活和快速部署实验环境。 NVIDIA GPU 虚拟化解决方案最新的Virtual GPU 5.0 版本为GPU 虚拟化带来了新的 环境实现，支持在GPU 虚拟环境下的深度学习框架的搭建和计算，是教育单位的人工 智能实验室得以实现的重要技术平台。 2.1 深度学习实验室方案架构 从架构图来看整个方案由以下几个核心组件构成：  NVIDIA Tesla GPU （P40 ）  服务器虚拟化平台  NVIDIA Virtual GPU 软件（Quadro vDWS 版本）  NVIDIA Docker  深度学习框架（Framework） 通过整个架构图我们可以看到，单台服务器配合单片Tesla P40 GPU 卡最大可以支 持24 个vGPU 的实例，每vGPU 配置1GB 显存（P40-1Q）。所以单台服务器最大可用 支撑24 个用于教学的深度学习环境。 NVIDIA Virtual GPU 软件（Quadro vDWS 版本） 我们在服务器虚拟化平台，通过NVIDIA Virtual GPU 软件对GPU 计算资源进行切 割，按需求进行分配，依托NVIDIA Docker 技术快速部署各种深度学习实践环境，包括 Ubuntu 操作系统和框架，用户通过笔记本、PC 进行连接，进行AI 实验、模型实践和 推演产品的互动教学和体验。目前Tesla 所有的P 系列在Virtual GPU 5.0 上支持虚拟 化，并且vGPU 同时支持图形计算以及人工智能应用。 NVIDIA Docker Docker 是用户在部署人工智能训练平台的时候最常用的解决方案, 其快速的应用 程序部署功能非常适合于深度学习框架的部署。常见的基于Docker 部署的应用主要以 CPU 应用为主，而所有的深度学习框架更适合使用GPU 进行训练，可以提供更高的训 练效率