大数据平台技术—实验3(2019-2020).docVIP

重庆交通大学信息科学与工程学院 实验报告 班 级： 曙光1701班 姓名 学号： 实验项目名称： 分布式数据计算技术实验 实验项目性质： 设 计 性 实验所属课程： 大数据平台技术 实验室(中心)： 语音楼11楼 指 导 教 师 ： 实验完成时间： 2019 年 11 月 14 日 - PAGE 2 - 一、实验概述： 【实验目的】 掌握Spark计算模型及其编程环境的安装部署和基本使用方法； 掌握Spark RDD模型体系下的常用Transformation和Action算子程序设计方法； 掌握Spark SQL和Spark Streaming的基本数据计算方法。 【实验要求】 保存程序，并自行存档； 最终的程序都必须经过测试，验证是正确的； 认真记录实验过程及结果，回答实验报告中的问题。 【实施环境】（使用的材料、设备、软件） Linux操作系统环境，VirtualBox虚拟机，Spark、Python/Scala程序设计环境等。 二、实验内容 第1题 Spark计算环境的安装与配置实验 【实验内容】 请结合课堂讲授内容，在实验电脑的Linux环境下安装Spark计算环境，具体包含以下内容，并对安装步骤进行详细描述和记录。 安装Python 3.x和Pip3工具； 安装Spark计算模型； 安装Jupyter Notebook编程工具； 安装FindSpark工具包； 对pyspark的import情况进行示例。 【实验过程】（步骤、记录、数据、程序等） 请提供相应Shell操作命令或相应界面截图证明。 安装Anaconda3.7软件包含Python3.7和jupyter Notebook； bash ~/下载/Anaconda3-2019.10-Linux-x86_64.sh 中间有两次选择，直接都选择yes: source ~/.bashrc 到这里可以试一下我们的python安装好没有： 到此安装完成。 安装Spark计算模型； 选择适合你hadoop版本的： 解压： sudo tar -zxf ~/下载/spark-3.0.0-preview-bin-hadoop3.2.tgz -C /usr/local 重命名： sudo mv ./spark-3.0.0-preview-bin-hadoop3.2 ./spark sudo chown -R yqy:yqy ./spark 修改配置文件，添加环境变量： cd ./spark cp ./conf/spark-env.sh.template ./conf/spark-env.sh gedit ./conf/spark-env.sh 测试： bin/run-example SparkPi 21 | grep Pi is roughly ./bin/spark-shell 安装Jupyter Notebook编程工具； 因为前面我们时安装了Anaconda,Anaconda本身自带jupyter notebook,所以我们打开终端，执行下命令： Jupyter notebook 就在浏览器中打开了jupyter notebook 安装FindSpark工具包； pip install findspark export SPARK_HOME=/usr/local/spark export PATH=$PATH:$SPARK_HOME/bin 对pyspark的import情况进行示例。 /bin/hdfs dfs -put /home/yqy/testInputFile.text /user/yqy 第2题 Spark RDD的Transformation和Action算子程序设计实验 【实验内容】 请结合课堂讲授内容，在基于Python语言的Spark计算环境下，设计实现以下功能，并对代码和程序运行结果进行详细描述。 （1）从Linux本地磁盘或者HDFS文件系统中，读取任意一个包含了若干英文单词的文本文件，并将其载入为RDD对象，调用适宜的Spark Transformation和Action算子，完成WordCount程序，并显示运行结果； （2）初始化List对象input_data = [3, 4, 5, 7, 9, 12]，调用适宜的Spark Transformat