第八章 Spark 快速入门.pdfVIP

Spark 快速⼊门 设置Spark 在本机设置和运⾏Spark⾮常简单。你只需要下载⼀个预构建的包，只要你安装了Java 6+和Python 2.6+ ，就 以在Windows、Mac OS X和Linux上运⾏Spark 。确保j ava程序 在P TH环境变量中，或者设置了J V _HOME环境变量。类似的，python也要在 P TH 中。 假设你已经安装了Java和Python ： 1. 访问Spark下载页 2. 选择Spark最新发布版(本⽂写作时是1.2.0) ，⼀个预构建的Hadoop 2.4包，直接 下载。 现在，如何继续依赖于你的操作系统，靠你⾃⼰去探索了。Windows⽤户 以在评论 区对如何设置的提⽰进⾏评论。 ⼀般，我的建议是按照下⾯的步骤(在POSIX操作系统上) ： 1.解压Spark ~$ tar -xzf spark-1.2.0-bin-hadoop2.4 .tgz 2.将解压⽬录移动到有效应⽤程序⽬录中(如Windows上的 ~$ mv spark-1.2.0-bin-hadoop2.4 /srv/spark-1.2.0 3.创建指向该Spark版本的符号链接到spark ⽬录。这样你 以简单地下载新/ 旧版本的 Spark ，然后修改链接来管理Spark版本，⽽不⽤更改路径或环境变量。 ~$ ln -s /srv/spark-1.2.0 /srv/spark 4 .修改B SH配置，将Spark添加到P TH 中，设置SP RK_HOME环境变量。这些⼩技 巧在命令⾏上会帮到你。在Ubuntu上，只要编辑~/ .bash_profile或~/ .profile⽂件，将以 下语句添加到⽂件中： export S ARK_HOME=/srv/sparkexport ATH=$S ARK_HOME/bin:$ ATH 5.source这些配置 （或者重启终端）之后，你就 以在本地运⾏⼀个pyspark解释器。 执⾏pyspark命令，你会看到以下结果： ~$ pyspark ython 2.7.8 (default, Dec 2 2014, 12:45:58) [GCC 4 .2.1 Compatible Apple LLVM 6.0 (clang-600.0.54)] on darwin Type help, copyright, credits or license for more informa Spark assembly has been built with Hive, including Datanucleus ja Using Sparks default log4j profile: org/apache/spark/log4j-defaul [… snip …] Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ `_/ /__ / .__/\_,_/_/ /_/\_\ version 1.2.0 /_/ Using ython version 2.7.8 (default, Dec 2 2014 12:45:58) SparkContext available as sc. 现在Spark 已经安装完毕， 以在本机以”单机模式“ （standalone mode ）使⽤。你 以 在本机开发应⽤并提交Spark作业，这些作业将以多进程/多线程模式运⾏的，或者， 配置该机器作为⼀个集群的客户端 （不推荐这样做，因为在Spark作业中，驱动程序 (driver)是个很重要的⾓⾊，并且应该与集群的其他部分处于相同⽹络）。 能除了开 发，你在本机使⽤Spark做得最多的就是利⽤spark-ec2脚本来配置 mazon云上的⼀个 EC2 Spark集群了。 简略Spark输出 Spark （和PySpark ）的执⾏ 以特别详细，很多INFO ⽇志消息都会打印到屏幕。开发 过程中，这些⾮常恼⼈，因为 能丢失Python栈跟踪或者print的输出。为了减少Spark 输出 – 你 以设置$SP RK_HOME/conf下的log4j 。⾸先，拷贝⼀份 $SP RK_HOME/conf