大数据实验一体机解决方案.docxVIP

大数据实验一体机 解决方案  目 录 TOC \o 1-3 \h \z \u 1 概述 4 1.1 背景 4 1.2 问题分析 4 1.3 建设目标 5 2 产品设计 6 2.1 产品简介 6 2.2 架构设计 8 2.2.1 产品架构 8 2.2.2 Docker容器技术 9 2.2.3 Hadoop实验平台 15 2.2.4 主要功能介绍 19 2.3 配套资源 20 2.3.1 内容充实的课程体系 20 2.3.2 多元化的大数据资源包 21 2.3.3 公有实验数据与组件实验数据兼备 23 2.4 专业培训 23 2.4.1 培训简介 23 2.4.2 往期培训介绍 24 2.5 产品特点 32 2.5.1 沙箱机制 32 2.5.2 快速部署 33 2.5.3 多机实验环境 34 2.5.4 资源最大化利用 34 2.5.5 快速高效易扩展 35 2.5.6 低运维成本 35 2.5.7 教学体系完善 35 3 主要实验介绍 35 3.1 快速搭建大数据实验环境 35 3.2 HDFS部署实验 39 3.3 YARN部署实验 40 3.4 MapReduce实验 42 3.4.1 单词计数实验 43 3.4.2 二次排序 45 3.4.3 计数器 46 3.4.4 join操作 47 3.4.5 分布式缓存 48 3.5 Hive实验 49 3.5.1 部署Hive 50 3.5.2 新建Hive表 51 3.6 Spark实验 53 4 规格配置 55  概述 背景 随着移动互联网、云计算、物联网的快速发展，特别是智能手机端博客、社交网络、位置服务（LBS）等信息发布方式的不断涌现，数据正以前所未有的速度在不断地增长和累积，全球在2010年正式进入ZB 时代，根据IDC监测，人类自有史以来所有数据量大约每 18 个月翻一番，意味着人类在最近18个月产生的数据量相当于之前产生的全部数据量，预计到 2020 年，全球将总共拥有 35ZB的数据量，是2010年的近30倍，大数据时代已经来到。 在海量数据面前，大数据人才无疑是其中最关键环节之一，然而，不论国内外，大数据人才却紧缺相当稀缺，在未来5-10年，我国大数据市场规模年均增速将超过30%，而大数据人才缺口将突破150万，目前大数据人才平均月薪达1.5万，在BAT发布的招聘职位中，大数据人才超过60%，因此在高校开发云计算大数据科研平台，建立云计算大数据科研实验室、创设云计算大数据教学培训，实现高校教学科研一体化流程，将为高校增加学生就业机会和薪资水平，逐步培养当今互联网时代IT行业的大数据人才起到至关重要的作用。 而大数据学科方向是一门交叉专业方向，与不同专业乡结合可以发展成特定方向的专业或研究领域。经济金融、应用数学、统计学、计算机科学等传统专业方向与大数据学科方向相结合表现出多样化的差异特征，包括专业研究方向与社会需求岗位在内。除了课堂学习，通过实验来加深理解和提高实际应用操作能力也是主要途径。调查表明，当前大数据涉及到很多内容，如数据分析、数据挖掘、数据可视化等，其中的很多实验，都无法在我国高校现有的实验室中完成。因此，建设专门的大数据实验一体机就显得非常重要。 问题分析 虽然目前各大高校都意识到开设大数据相关课程，但是在课程开设的过程中却遇到了诸多问题，具体总结为以下几类： 课程体系待完善，大数据教学科研入门难 各大高校的大数据专业处于起步阶段，人才培养课程体系缺乏系统性，大数据教学科研资源匮乏，可配置和指导实验环境的专业师资不足。 基础实验环境薄弱，大数据实训难开展 目前高校的大数据教学科研大都卡在了实验环节，缺乏相应的基础实验环境，无法为每一个学生都提供一套实验集群，而虚拟化的网络配置与运维又十分复杂，同时大数据分布式软件系统安装、配置难度较大，在实验过程中很容易造成实验环境的破坏，实验数据、实验教案、实验手册缺乏，难以开展相关的实验教学。 项目实训缺失，教学效果与就业率打折扣 在大数据教学过程中，缺乏相应的实训项目，只有理论教育，难以培养实用型人才所需的专业项目能力，存在专业学习与实际应用脱轨的情况，使得教学效果与就业率打折扣。 建设目标 大数据实验一体机的建设致力于帮助各大高校打造大数据人才培养体系，解决国内的大数据人才荒状况，具体建设目标如下： 提供可供上百学生同时进行实验的大数据实验教学平台 平台需基于Docker容器技术，从而可以以少量机器虚拟大量实验集群，可供大量学生同时拥有多套集群进行实验，