二零二三年 优质公开课sparkshell.pptx

孟繁兴 0102目录运行Spark-Shell命令Spark-Shell Spark-ShellSpark-Shell是一个强大的交互式数据分析工具，初学者可以很好的使用它来学习相关API，用户可以在命令行下使用Scala编写Spark程序，并且每当输入一条语句，Spark-Shell就会立即执行语句并返回结果，这就是我们所说的REPL（Read-Eval-Print Loop，交互式解释器），Spark-Shell支持Scala和Python，如果需要进入Python语言的交互式执行环境，只需要执行“pyspark”命令即可。 运行Spark-Shell命令在spark/bin目录中，执行下列命令进入Spark-Shell交互环境：--master”表示指定当前连接的Master节点master-url用于指定Spark的运行模式bin/spark-shell --master master-url 运行Spark-Shell命令参数名称相关说明local使用一个Worker线程本地化运行Sparklocal[*]本地运行Spark，工作线程数量与本机CPU逻辑核心数量相同local[N]使用N个Worker线程本地化运行Sparkspark://host:portStandalone模式下，连接到指定的Spark集群，默认端口7077yarn-client以客户端模式连接Yarn集群，集群位置可在HADOOP_CONF_DIR环境变量中配置yarn-cluster以集群模式连接Yarn集群，集群位置可在HADOOP_CONF_DIR 环境变量中配置mesos://host:port连接到指定的Mesos集群。默认接口是5050master-url可取的详细值如下所示。 运行Spark-Shell命令 运行Spark-Shell命令 运行Spark-Shell命令