《大数据技术实战案例教程》课件教学课件-第8章Spark集群部署和基本编程.pptx

下载文档

0
0
约1.27千字
约 84页
2024-07-03 发布于广东
举报
版权申诉
保障服务

《大数据技术实战案例教程》课件教学课件-第8章Spark集群部署和基本编程.pptx

1、本文档共84页，可阅读全部内容。
2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。

【第7章回顾】;【课程内容】;第8章Spark集群部署和基本编程;8.1初识Spark;8.1.1Spark简介;8.1.1Spark简介;8.1.2Spark对比HadoopMapReduce;8.1.2Spark对比HadoopMapReduce;HadoopMapReduce与Spark的执行流程对比;Hadoop与Spark执行逻辑回归的时间对比;8.1.2Spark对比HadoopMapReduce;8.2Spark生态系统;8.2Spark生态系统;8.3Spark运行架构;8.3Spark运行架构;8.4RDD的设计与操作;8.4.1RDD简介;8.4.1RDD简介;8.4.2RDD数据存储模型;8.4.2RDD数据存储模型;8.4.3RDD创建;8.4.3RDD创建;8.4.4RDD操作;1.转换操作;2.行动操作;【实例】;8.5Spark部署要点;8.5.1Spark运行环境;8.5.2Spark运行模式;Spark集群部署方式;8.5.3Spark配置文件;spark-env.sh配置参数（部分）;8.6Spark接口;8.6.1SparkWebUI;8.6.2SparkShell;8.6.2SparkShell;SparkShell集群管理命令功能说明（部分）;8.6.2SparkShell;SparkShell任务管理命令功能说明（部分）;spark-submit用法（过长，显示部分）;spark-submit用法;MASTER_URL参数值含义;pyspark用法（过长，显示部分，与spark-submit类似）;8.6.3SparkAPI;8.6.4其它接口;8.7综合实战：Spark集群部署和基本编程;8.7.1规划Spark集群;8.7.1规划Spark集群;8.7.2部署Spark集群;安装和配置Python3;安装和配置Python3;安装和配置Python3;安装和配置Python3;8.7.2部署Spark集群;8.7.2部署Spark集群;8.7.2部署Spark集群;8.7.2部署Spark集群;8.7.2部署Spark集群;8.7.3启动Spark集群;8.7.4验证Spark集群;8.7.4验证Spark集群;8.7.4验证Spark集群;;8.7.4验证Spark集群;;8.7.4验证Spark集群;;8.7.4验证Spark集群;8.7.5编写并运行Spark应用程序;【案例8-1】;【案例8-1】;【案例8-1】;【案例8-1】;【案例8-1】;8.7.5编写并运行Spark应用程序;【案例8-2】;【案例8-2】;【案例8-2】;【案例8-2】;【案例8-2】;8.7.6关闭Spark集群;【第8章小结】;【课后作业】;