Spark编程基础Scala版-厦门大学数据库室.pptVIP

3.5 在集群上运行Spark应用程序 3.5.1 启动Spark集群 3.5.2 采用独立集群管理器 3.5.3 采用Hadoop YARN管理器 3.5.1 启动Spark集群 请登录Linux系统，打开一个终端启动Hadoop集群 $ cd /usr/local/hadoop/ $ sbin/start-all.sh 启动Spark的Master节点和所有slaves节点 $ cd /usr/local/spark/ $ sbin/start-master.sh $ sbin/start-slaves.sh 3.5.2 采用独立集群管理器 （1）在集群中运行应用程序 向独立集群管理器提交应用，需要把spark://master:7077作为主节点参数递给spark-submit 可以运行Spark安装好以后自带的样例程序SparkPi，它的功能是计算得到pi的值（3.1415926） $ cd /usr/local/spark/ $ bin/spark-submit \ --master spark://master:7077 \ /usr/local/spark/examples/src/main/python/pi.py 21 | grep Pi is roughly 3.5.2 采用独立集群管理器 （2）在集群中运行pyspark 也可以