大数据Spark二次开发.pdf

Spark二次开发 Copyright © 2010 Huawei Technologies Co., Ltd. All rights reserved. 目标  学完本课程后，您将能够:  了解Spark任务运行流程；  搭建开发环境；  运行程序； Copyright © 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 1 目录 1. Spark任务运行的流程 2. 搭建开发环境 3. 运行程序 Copyright © 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 2 1. Spark部署原则 在 集群中， 主要与以下组件进行交互： FI Spark ） ： 在 文件系统中读写数据 必选 1 HDFS Spark HDFS ( ) ） ： 任务的运行依赖 来进行资源的调度管理 必选 2 YARN Spark Yarn ( ) ） ： 的表存储在 的数据库中必选 3 DBService Spark-sql Dbservice ( ) ） ， 的 的实现依赖于 的协调必选 4 Zookeeper JDBCServer HA Zookeeper ( ) ） ： 可以接收 发送的数据流可选 5 Kafka Spark Kafka ( ) ） ： 可以操作 的表可选 6 Hbase Spark Hbase ( ) Copyright © 2010 Huawei Technologies Co., Ltd. All rights reserved. Page 3 2. Spark任务执行流程 RDD Objects DAGScheduler TaskScheduler Worker Cluster Threads manager DAG TaskSet Task Block