《大数据技术》MapReduce和Spark实验报告.pdfVIP

《大数据技术》MapReduce和Spark实验报告

一、实验目的：

1.通过实验掌握基本的MapReduce编程方法；

2.掌握用MapReduce解决一些常见数据处理问题的方法；

3.掌握使用Spark访问本地文件和HDFS文件的方法。

4.掌握Spark应用程序的编写、编译和运行方法。

二、实验平台：

1.操作系统：Ubuntu18.04（或Ubuntu16.04）。

2.Hadoop版本：3.1.3。

3.Spark版本：2.4.0。

4.JDK版本：1.8；

5.JavaIDE：Eclipse。

二、实验内容：

（一）MapReduce的基本操作

1.词频统计任务要求：

首先，在Linux系统本地创建两个文件，即文件wordfile1.txt和wordfile2.txt。在实际应用中，

这两个文件可能会非常大，会被分布存储到多个节点上。但是，为了简化任务，这里的两个文

件只包含几行简单的内容。需要说明的是，针对这两个小数据集样本编写的MapReduce词频统

计程序，不作任何修改，就可以用来处理大规模数据集的词频统计。

文件wordfile1.txt的内容如下：

IloveSp