大数据实验平台解决方案.docxVIP

PAGE \* Arabic 1 / NUMPAGES \* Arabic 1 大数据实验室平台 解决方案  目录 TOC \o 1-3 \h \z \u 1 概述 4 1.1 背景 4 1.2 问题分析 4 1.3 建设内容 5 2 大数据实验室平台方案设计 6 2.1 大数据实验一体机 6 2.2 架构设计 8 2.2.1 产品架构 8 2.2.2 Docker容器技术 9 2.2.3 Hadoop实验平台 14 2.2.4 主要功能介绍 19 2.3 配套资源 20 2.3.1 内容充实的课程体系 20 2.3.2 多元化的大数据资源包 21 2.3.3 实验数据提供 23 2.4 产品特点 23 2.4.1 沙箱机制 23 2.4.2 快速部署 24 2.4.3 多机实验环境 25 2.4.4 资源最大化利用 25 2.4.5 快速高效易扩展 26 2.4.6 低运维成本 26 2.4.7 教学体系完善 26 3 cDesktop桌面虚拟化云平台 26 3.1 平台整体架构 26 3.2 平台组件解析 27 3.3 平台价值体现 28 3.4 平台亮点解析 28 3.4.1 绝佳的用户体验 28 3.4.2 灵活的平台设计 30 3.4.3 从点到面的稳定性设计 32 3.4.4 最优的硬件资源投入 35 3.4.5 cDesktop桌面虚拟化平台优势 38 4 大数据主要实验介绍 38 4.1 快速搭建大数据实验环境 38 4.2 HDFS部署实验 42 4.3 YARN部署实验 43 4.4 MapReduce实验 45 4.4.1 单词计数实验 45 4.4.2 二次排序 47 4.4.3 计数器 48 4.4.4 join操作 49 4.4.5 分布式缓存 50 4.5 Hive实验 51 4.5.1 部署Hive 52 4.5.2 新建Hive表 53 4.6 Spark实验 55 4.7 综合实战实验 56 4.7.1 交通大数据实验 56 4.7.2 互联网数据处理 58 4.7.3 精确营销 62 4.7.4 环境大数据 66 4.7.5 智能硬件大数据托管 69 5 规格配置 75  概述 背景 随着移动互联网、云计算、物联网的快速发展，特别是智能手机端博客、社交网络、位置服务（LBS）等信息发布方式的不断涌现，数据正以前所未有的速度在不断地增长和累积，全球在2010年正式进入ZB 时代，根据IDC监测，人类自有史以来所有数据量大约每 18 个月翻一番，意味着人类在最近18个月产生的数据量相当于之前产生的全部数据量，预计到 2020 年，全球将总共拥有 35ZB的数据量，是2010年的近30倍，大数据时代已经来到。 在海量数据面前，大数据人才无疑是其中最关键环节之一，然而，不论国内外，大数据人才却紧缺相当稀缺，在未来5-10年，我国大数据市场规模年均增速将超过30%，而大数据人才缺口将突破150万，目前大数据人才平均月薪达1.5万，在BAT发布的招聘职位中，大数据人才超过60%，因此在高校开发云计算大数据科研平台，建立云计算大数据科研实验室、创设云计算大数据教学培训，实现高校教学科研一体化流程，将为高校增加学生就业机会和薪资水平，逐步培养当今互联网时代IT行业的大数据人才起到至关重要的作用。 而大数据学科方向是一门交叉专业方向，与不同专业相结合可以发展成特定方向的专业或研究领域。经济金融、应用数学、统计学、计算机科学等传统专业方向与大数据学科方向相结合表现出多样化的差异特征，包括专业研究方向与社会需求岗位在内。除了课堂学习，通过实验来加深理解和提高实际应用操作能力也是主要途径。调查表明，当前大数据涉及到很多内容，如数据分析、数据挖掘、数据可视化等，其中的很多实验，都无法在我国高校现有的实验室中完成。因此，建设专门的大数据实验一体机就显得非常重要。 问题分析 虽然目前各大高校都意识到开设大数据相关课程，但是在课程开设的过程中却遇到了诸多问题，具体总结为以下几类： 课程体系待完善，大数据教学科研入门难 各大高校的大数据专业处于起步阶段，人才培养课程体系缺乏系统性，大数据教学科研资源匮乏，可配置和指导实验环境的专业师资不足。 基础实验环境薄弱，大数据实训难开展 目前高校的大数据教学科研大都卡在了实验环节，缺乏相应的基础实验环境，无法为每一个学生都提供一套实验集群，而虚拟化的