二零二三年 优质公开课Spark示例.pptx

孟繁兴 目录0102安装SparkSpark 示例 安装Spark1 安装Spark安装 Spark并使其运行非常简单。在下面的例子中，使用一个Ubuntu 服务器来安装和配置Spark。虽然可以从源代码构建，但这里我们从Spark的下载站点http:/l 下载预编译的二进制文件。虽然可以使用wget(也可以使用curl)从Apache软件镜像位置获取Hadoop压缩包，但是这里我们使用另外一种方法下载。 安装Spark1．首先，确保path中包含Java和 Python，并且将$JAVA_HOME环境变量的值设为Java的安装目录。2．前往Spark的下载页面/downloads.html.3选择最新的Spark版本，并确保是Hadoop 2.4或更高版本的预构建软件包。使用以下命令下载软件包，然后解压缩二进制文件。最后，为了简单起见，将包含二进制文件的文件夹重命名为spark。 安装Spark$ wget /spark-1.4.0-bin-hadoop2.4.tgz$.tar -zxf spark-1.4.0-bin-hadoop2.4.tgz$ sudo mv spark-1.4.0-bin.-hadoop2.4 spark请注意，最新的Spark二进制程序是使用最新并且稳定的Hadoop版本开发的。 安装Spark1.在/opt下创建一个组织目录，作为Spark 的安装目录(Linux的/opt目录存放附加软件的二进制文件)。完成后，把spark目录移动到新建目录下。$ sudo mkdir -p /opt/mycompany$ sudo mv spark /opt/mycompany2．把 spark 安装目录的拥有者改为root，把文件权限改为0755。$ sudo chown -R root :root /opt/mycompany /spark$ sudo chmod -R 755 /opt/mycompany/spark 安装Spark3．执行以下命令，创建一个spark配置目录的软链接。$ cd /opt/mycompany/spark$ sudo mv spark/conf/* /etc/spark$ sudo ln -s /etc/spark conf4．在.bashrc文件中将spark 路径添加到 PATH变量中。$ echo export PATH=$PATH :/opt/mycompany/spark/bin home/ hduser/.bashrc 安装Spark5.创建spark的日志和临时目录。$ sudo mkdir -p /var/log/spark$ sudo chown -R hduser: hduser /var/log/spark$ sudo mkdir /tmp/spark 安装Spark6．最后，配置Spark，使其和 Hadoop协同工作，并使用在上一步中创建的日志和临时目录。$ cd /etc/spark$ echo export HADOOP_CONF_DIR=/opt/mycompany/hadoop/etc/hadoop sparkenv.sh 安装Spark$ echo export YARN_CONF_DIR=/opt/mycompany/hadoop/etc/hadoop sparkenv.sh$ echo export SPARK_LOG_DIR=/var/log/spark spark-env.sh$ echo export SPARK_WORKER_DIR=/tmp/spark spark-env.sh Spark 示例2 Spark 示例Spark自带了一些样例，可以使用其中一些样例来试运行新安装的Spark。Spark基于Scala、Java、Python和R的样例程序位于examples/src/main路径下。使用bin/run-example class [params]从安装目录运行样例程序。例如:./bin/run-example SparkPi 10Spark 使用spark-submit脚本（下一章会介绍）运行此程序。如果想使用Spark Python程序来执行相同的操作（计算Pi的值)，可以这样做:./bin/spark-submit examples/src/main/python/pi.py 10