大数据平台技术—实验3(2019-2020).pdfVIP

重庆交通大学信息科学与工程学院 实 验 报 告 班 级： 曙光 1701 班 姓名 学号： 实验项目名称： 分布式数据计算技术实验 实验项目性质： 设 计 性 实验所属课程： 大数据平台技术 实验室 ( 中心)： 语音楼 11 楼 指 导 教 师 ： 实验完成时间： 2019 年 11 月 14 日 一、实验概述： 【实验目的】 1. 掌握 Spark 计算模型及其编程环境的安装部署和基本使用方法； 2. 掌握 Spark RDD 模型体系下的常用 Transformation 和 Action 算子程序设计方法； 3. 掌握 Spark SQL 和 Spark Streaming的基本数据计算方法。 【实验要求】 1. 保存程序，并自行存档； 2. 最终的程序都必须经过测试，验证是正确的； 3. 认真记录实验过程及结果，回答实验报告中的问题。 【实施环境】（使用的材料、设备、软件） Linux 操作系统环境， VirtualBox 虚拟机， Spark、Python/Scala程序设计环境等。 二、实验内容 第 1 题 Spark 计算环境的安装与配置实验 【实验内容】 请结合课堂讲授内容，在实验电脑的 Linux 环境下安装 Spark 计算环境，具体包含 以下内容，并对安装步骤进行详细描述和记录。 （1） 安装 Python 3.x 和 Pip3 工具； （2） 安装 Spark 计算模型； （3） 安装 Jupyter Notebook 编程工具； （4） 安装 FindSpark 工具包； （5） 对 pyspark 的 import 情况进行示例。 【实验过程】（步骤、记录、数据、程序等） 请提供相应 Shell 操作命令或相应界面截图证明。 （1）安装 Anaconda3.7 软件包含 Python3.7 和 jupyter Notebook ； bash ~/下载/Anaconda3-2019.10-Linux-x86_64.sh 中间有两次选择，直接都选择 yes: - 1 - source ~/.bashrc 到这里可以试一下我们的 python 安装好没有： 到此安装完成。 （2）安装 Spark 计算模型； 选择适合你 hadoop 版本的： - 2 - 解压： sudo tar -zxf ~/下载/spark-3.0.0-preview-bin-hadoop3.2.tgz -C /usr/local 重命名： sudo mv ./spark-3.0.0-preview-bin-hadoop3.2 ./spark sudo chown -R yqy:yqy ./spark - 3 - 修改配置文件，添加环境变量： cd ./spark cp ./conf/spark-env.sh.template ./conf/spark-env.sh gedit ./conf/spark-env.sh 测试： bin/run-example SparkPi 21 | grep Pi is roughly ./bin/spark-shell - 4 - （3）安装 Jupyter Notebo