30-大数据分析与内存计算.pptVIP

大数据分析与内存计算 第二章 Spark 的环境搭建 课前回顾 Spark 安装准备及相关配置 （ 1 ） Spark 安装需要的软件 （ 2 ） SSH 免密码登陆设置 （ 3 ） Spark 相关配置 0 3 2.3 集群启动与关闭 Spark 2.3 Spark 集群启动与关闭 Spark 运行模式 1. 在 mesos 或者 yarn 集群管理器上部署运行 2. 在 standalone 和 local 的模式上部署运行。 2.3 Spark 集群启动与关闭 (1) 启动 Spark standalone 集 cd $SPARK_HOME/sbin ./start-all.sh 运行成功结果如图所示： 图 2-12 启动 Spark standalone 集群 2.3 Spark 集群启动与关闭 启动中遇到的问题及解决方法 在启动的时候如果出现需要输入密码的情况，这种情况是因为部分文件没有 设置权限。在启动的过程中会生成新的文件夹，只要需要对 Spark 目录进行重 新设置权限即可。 sudo chmod – R 777 /opt/spark-2.3.0-bin-hadoop2.7 2.3 Spark 集群启动与关闭 2.3 Spark 集群启动与关闭 (2) 关闭集群 集群的关闭与启动相似，同样进入到 本关闭集群。 运行 stop-all.sh ： ./stop-all.sh sbin 文件夹中，使用 stop-all.sh 脚 0 4 2.4 群 应用提交到集 Spark 2.4 Spark 应用提交到集群 集群启动完毕后，可以使用 spark-submit 命令进行任务的提交。进入到 spark- submit 文件所在的目录中： cd $SPARK_HOME/bin 执行以下命令提交集群： spark-submit --master spark://master:7077 --deploy-mode client --executor-memory 512M --total-executor-cores 4 demo.py 2.4 Spark 应用提交到集群 spark-submit 参数的详细说明如下： spark-submit: 提交任务命令 --master spark://master:7077 --deploy-mode client --executor-memory 512M --total-executor-cores 4 demo.py // 提交集群的地址 // 部署模式为 client 模式 // 设置每个执行单元使用 512Mb 的内存空间 // 每个执行单元为 4 个核 // 实际提交的应用程序，具体以实际为准 0 5 监控页面 2.5 Spark web 2.5 Spark web 监控页面 应用的查看：