BDRack大数据实验一体机在郑州大学成功完成部署详解.PDF

BDRack 大数据实验一体机在郑州大学成功完成部署 大数据产业迎来了发展黄金期，对于教育行业而言，大数据专业建设成为了大势所趋。 在高校(高职)的大数据专业建设过程中，大数据实验需要每位学生提供一套集群计算环境， 但这对高校而言，根本是一个无法实现的要求。即使是使用虚拟化技术，一台服务器只能虚 拟出十几台虚拟机，也是远远不够的。而使用容器技术，则可以把一台机器虚拟出上千个容 器，再利用大数据平台把多台服务器的数万个容器组织起来，就能实现为每个学生提供一套 集群的需求了。 对此，BDRack 大数据实验一体机搭建了一站式的大数据教学实验平台，以Docker 容器 技术虚拟出足够的实验集群，可供大量学生同时拥有多套集群进行实验，而每个学生的实验 环境不仅相互隔离，方便高效地完成实验，而且实验彼此不干扰，即使某个实验环境被破坏， 对其他人也没有影响，一键重启就可以拥有一套新集群，大幅度节省了硬件和人员管理的投 入成本。 作为一个可供大量学生完成大数据与云计算实验的集成环境，BDRack 大数据实验一体 机不仅操作平台简单易用，可提供Hadoop、HBase、Spark、Storm 等大数据组件，同时同步 提供配套的教材、PPT、实验手册、教学视频以及培训服务等，有助于高校更好地满足课程 设计、课程上机实验、实习实训、科研训练等多方面需求，并在一定程度上缓解大数据师资 不足的问题。 对于各大高校而言，即使没有大数据实验基础，该平台也能助其轻松开展大数据与云计 算的教学、实验与科研。目前，郑州大学大数据实验室已经完成部署，正在逐步建立和完善 大数据教学科研体系。 郑州大学完成大数据实验一体机部署 具体而言，大数据实验一体机从以下三个方面解决了高校大数据专业建设难题： 1.完整的大数据课程体系及配套资源 大数据实验一体机以国内第一本Hadoop 编程书籍的升级版—— 《实战Hadoop2.0—— 从云计算到大数据》作为教材，并提供配套PPT 以及实验手册、教学视频、网站资源以及师 资培训，内容涵盖大数据算法、接口、工具、平台等多方面内容，从大数据监测与收集、大 数据存储与处理、大数据分析与挖掘直至大数据创新，帮助高校构建完善的大数据课程体系。 其中，由国内专业领域排名第一的网站——中国大数据、中国云计算、中国存储等提供 全线支持，一网打尽各类优质资源，而配套的实验手册和教学视频涵盖了36 个关键的大数 据应用实验，涵盖原理验证、综合应用、自主设计及创新的多层次实验内容，每个实验呈现 详细的实验目的、实验内容、实验原理和实验流程指导，广大师生通过参照手册与视频，即 可轻松完成每个实验。 2.安全可靠的实验环境 BDRack 大数据实验一体机应用的Docker 容器云平台，不仅启动可以在秒级实现，而且 Docker 对系统资源的利用率很高，一台主机上可以同时运行数千个Docker 容器。容器除了 运行其中应用外，基本不消耗额外的系统资源，性能高且系统开销小。对于传统虚拟机方式 运行10 个不同的应用需要10个虚拟机，Docker 只需要启动10个隔离的应用即可实现。 容器云平台 容器云平台具有以下优势： 1) 瞬间创建随时运行的实验环境 2) 使用几台机器即可虚拟出大量实验集群，方便上百学生同时使用 3) 采用Mesos+ZooKeeper+Mrathon 架构管理集群，实验集群完全隔离 4) 实验环境互不干扰，如果实验环境破坏，一键重启即可建立新集群 5) 内置数据挖掘等教学实验数据，可导入高校各学科数据进行教学、实验与科研 3.个性化的定制方案 目前，BDRack 大数据实验一体机具有经济型、标准型与增强型三种规格，通过发挥实 验设备、理论教材、实验手册等资源的合力，可满足数据存储、挖掘、管理、计算等多样化 的教学科研需求。 软件配置方面，各大高校可根据具体应用，选择Hadoop、HBase、Ambari、HDFS、YARN、 MapReduce、ZooKeeper、Spark、Storm、Hive、Pig、Oozie、Mahout、R 语言等不同的大数 据应用组件。 从大数据实验环境、基础知识学习、真机实验训练直至师资队伍的培养壮大，BDRack 大数据实验一体机有助于高校大数据实验室建设以及高层次大数据人才的深度培育，帮助提 高大数据专