基于Docker的大数据AI教学与实验系统.pdfVIP

基于Docker的大数据AI教学与实验系统 游向东;徐圆圆;欧阳松 【摘要】大数据 AI 教学与实验系统是一个基于 Docker 容器技术研发的大数据人 工智能在线教学、实验和科研的云平台.该云平台支持主流深度学习框架 Tensorflow,能快速部署深度学习的训练环境,共享 GPU 计算资源,支持多人同时在 线学习和实验.云平台还支持大数据 hadoop 实验,提供 hadoop 的安装和应用实验. 在云平台上,老师可展开大数据、人工智能领域的教学与科研,学生可完成相关课程 的学习、实验.本系统能有效降低大数据 AI 教学和科研的难度,利于高校大数据、人 工智能的人才培养和科研创新. 【期刊名称】《软件》 【年(卷),期】2018(039)008 【总页数】6 页(P192-197) 【关键词】人工智能;大数据;在线实验;机器学习;docker 【作者】游向东;徐圆圆;欧阳松 【作者单位】北京邮电大学信息与通信工程学院,北京 100876;北京邮电大学信息 与通信工程学院,北京 100876;北京邮电大学信息与通信工程学院,北京 100876 【正文语种】中 文 【中图分类】TP311.1 2017 年 8 月，在国务院印发的《新一代人工智能发展规划》中明确提出：推动人 工智能领域一级学科建设，把高端人才队伍建设作为人工智能发展的重中之重 [1] ， 完善人工智能教育体系等内容。《北京市加快科技创新培育人工智能产业的指导意 见》也指出：搭建人工智能创新平台，支持国内外人工智能优势企业、高等学校、 科研机构等开展合作，搭建开源技术创新平台，探索开放式协同创新模 式[2]。开 发面向人工智能的开源开放平台、完善人工智能领域学科布局，推动设立人工智能 专业，推动人工智能领域一级学科建设，加快人工智能相关学科方向的研究生培养。 另一方面，我们看到，人工智能的教学实验和科研创新，是一个综合性较强的新兴 的领域。深度学习的实验成本高，通行的提供并行运算能力的 Nvidia GPU 对学生 来说价格不菲；人工智能算法对数学要求高，需要较强的概率与统计、矩阵论等数 学基础[3] ；涉及的计算机基础知识多，要求学生掌握Linux、Python、Java 等计 算机基础；平台搭建繁琐，需要将众多的开源软件、硬件资源结合与集成；实践性 强，需要教学与实验结合，需要理论和实践的结合，需要将人工智能的算法在计算 平台上去运行、验证，才能达到实验的目的。因此展开人工智能的教学实验和科研 创新具有一定的门槛，对于普通高校的学生来说具有一定的学习难度。 因此针对高校在人工智能的教学与科研上述问题，本文研发一套“大数据 AI 教学 与科研云平台”，为老师和学生解决人工智能在线教学与实验环境缺乏的现实问题。 系统包括物理层、容器层和平台层，如图 1 所示。 “大数据AI 教学与实验系统”是基于 Docker 容器技术，可快速创建随时可运行 的实验环境，利用 docker-API 部署应用、维护、扩展机制等，方便地管理容器化 的应用。系统预先针对人工智能实验内容构建一系列基于 linux 和深度学习框架的 特定镜像，通过 Docker 镜像构建容器，为每个使用平台的用户开辟独立的实验环 境。 系统分为如下三层： 平台层：应用软件和管理软件，主要有教学管理子系统、在线 IDE 子系统； 容器层：包含 docker 引擎、镜像、容器，docker 编排管理； 物理层：CPU、GPU、存储设备、网络设备等。 分层结构介绍： （1 ）平台层（web 管理）：教学和实验管理、用户管理、容器管理界面、软硬件 资源管理。 （2 ）平台层（IDE 实验）：在线 IDE、git、gitlab、各种实验程序、数据集、算 法库。 （3 ）容器层：含docker 引擎、镜像、容器。利用 Docker 技术封装 Tensorflow、 caffe 等深度学习计算框架；利用 Docker 技术封装 mysql、redis 数据库；利用 docker-API 进行配置、管理 docker 容器。 （4 ）驱动层：Linux 操作系统的硬件驱动；Nvidia 显卡 GPU 驱动 CUDA。 （5 ）物理层：CPU 、GPU 、存储设备、网络设备等硬件模块，构成深度学习单 服务器一体机或服务器集群。 1.3.1 系统硬件方案设计 硬件采用 GPU+CPU 混合架构，实现对数据的高性能