2 spark上机实验手册-v1.0.pdf

目录 第1 章 安装部署Spark2 1 解压并安装Spark 2 2 配置Hadoop 环境变量2 3 验证Spark 安装3 第2 章Spark 上机操作5 1 Spark shell 使用5 2 运行Spark 程序5 第3 章 开发Spark 分布式程序6 1 安装idea 6 2 编写案例14 3 编写与调试Spark 程序17 4 分布式运行spark 程序21 5 spark 程序设计22 6 kafka 的安装23 7 Streaming 处理socket 数据24 8 Streaming 处理kafka 数据25 第1 章 安装部署Spark 该部分的安装需要在Hadoop 已经成功安装的基础上,并且要求Hadoop 已经正常启动。 我们将Spark 安装在HadoopMaster 节点上。所以下面的所有操作都在HadoopMaster 节 点上进行。 下面所有的操作都使用zkpk 用户，切换zkpk 用户的命令是： su - zkpk 密码是：zkpk 1 解压并安装Spark 注意：本文档使用的spark 是1.4.1 版本，实际培训时可能会改变，在进行操作时，请替换 成实际的版本。 使用下面的命令，解压Spark 安装包： cd /home/zkpk/software mv spark-1.5.2-bin-2.5.2.tgz ~/app cd app tar -zxvf spark-1.5.2-bin-2.5.2.tgz cd spark-1.5.2-bin-2.5.2 执行一下ls -l 命令会看到下面的图片所示内容，这些内容是Spark 包含的文件： 2 配置Hadoop 环境变量 在Yarn 上运行Spark 需要配置HADOOP_CONF_DIR、YARN_CONF_DIR 和HDFS_CONF_DIR 环境变量 命令： 第 4 章 安装部署 Spark gedit ~/.bash_profile 在下面添加 如下代码： export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export HDFS_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop 保存关闭后，执行： source ~/.bash_profile 使得环境变量生效。 3 验证Spark 安装 进入Spark 安装主目录, cd ~/app/spark-1.5.2-bin-2.5.2 ./bin/spark-submit --class org.apache.spark.examples.SparkPi \ --master yarn-cluster \ --num-executors 3 \ --driver-memory 1g \ --executor-memory 1g \ --executor-cores 1 \ lib/spark-examples*.jar \ 10 执行命令后会出现如下界面： 查看执行结果需要在计算节点上。执行下面代码： ssh slave cd $HADOOP_HOME/logs/userlogs/