大数据技术实践实验报告.pdfVIP

⼤⼤数数据据技技术术实实践践实实验验报报告告

实验报告

课程名称：⼤数据技术实践

实验项⽬：⼤数据平台

实验仪器：PC机

学院：计算机学院

专业：计算机科学与技术

班姓名：*

学号：*

⽇期：2019-5-9指导教师：*

成绩：

⼀.实验⽬的

1.熟练掌握⼤数据计算平台相关系统的安装部署

2.理解⼤数据MapReduce计算模型，并掌握MapReduce程序开发

3.掌握Hive的查询⽅法

4.掌握Spark的基本操作

⼆.实验内容

1.Hadoop完全分布模式安装

2.Hadoop开发插件安装

3.MapReduce代码实现

4.Hive安装部署

5.Hive查询

6.SparkStandaone模式安装

7.SparkShe操作

三.实验过程

Hadoop开发插件安装

实验步骤：

1.Ecipse开发⼯具以及Hadoop默认已经安装完毕，安装在/apps/⽬录下。

2.在Linux本地创建/data/hadoop3⽬录，⽤于存放所需⽂件。

切换⽬录到/data/hadoop3⽬录下，并使⽤wget命令，下载所需的插件hadoop-ecipse-pugin-2.6.0.jar。

2.将插件hadoop-ecipse-pugin-2.6.0.jar，从/