灵感计划spark.docVIP

灵感计划spark ：灵感 计划 spark java开发spark sql sparksql hive spark sql应用 篇一：Spark知识体系解读(最全) 干货：Spark知识体系最全解读！ 作者简介：杨思义，男，26岁，2015年6月毕业于山东大学齐鲁软件学院，工程硕士学位。 2014年6月至今工作于北京亚信智慧数据科技有限公司 BDX大数据事业部，从2014年9月开始从事项目spark相关应用开发。 Spark简介 Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map 函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。 Spark将分布式数据抽象为弹性分布式数据集（RDD），实现了应用任务调度、RPC、序列化和压缩，并为运行在其上的上层组件提供API。其底层采用Scala这种函数式语言书写而成，并且所提供的API深度借鉴Scala函数式的编程思想，提供与Scala类似的编程接口 Sparkon Yarn 1 从用户提交作业到作业运行结束整个运行期间的过程分析。 一、客户端进行操作 1、根据yarnConf来初始化yarnClient，并启动yarnClient 2、创建客户端Application，并获取Application的ID，进一步判断集群中的资源是否满足executor和ApplicationMaster申请的资源，如果不满足则抛出IllegalArgumentException； 3、设置资源、环境变量：其中包括了设置Application的Staging目录、准备本地资源（jar文件、perties）、设置Application其中的环境变量、创建Container启动的Context等； 4、设置Application提交的Context，包括设置应用的名字、队列、AM的申请的Container、标记该作业的类型为Spark； 2 5、申请Memory，并最终通过yarnClient.submitApplication向ResourceManager提交该Application。 当作业提交到YARN上之后，客户端就没事了，甚至在终端关掉那个进程也没事，因为整个作业运行在YARN集群上进行，运行的结果将会保存到HDFS或者日志中。 二、提交到YARN集群，YARN操作 1、运行ApplicationMaster的run方法； 2、设置好相关的环境变量。 3、创建amClient，并启动； 4、在Spark UI启动之前设置Spark UI的AmIpFilter； 5、在startUserClass函数专门启动了一个线程（名称为Driver的线程）来启动用户提交的Application，也就是启动了Driver。在Driver中将会初始化SparkContext； 6、等待SparkContext初始化完成，最多等待 spark.yarn.applicationMaster.waitTries次数（默认为10），如果等待了的次数超过了配置的，程序将会退出；否则用SparkContext初始化yarnAllocator； 7、当SparkContext、Driver初始化完成的时候，通过amClient向ResourceManager注册ApplicationMaster 8、分配并启动Executeors。在启动Executeors之前，先要通过yarnAllocator获取到numExecutors个Container，然后在Container中启动Executeors。 3 那么这个Application将失败，将Application Status标明为FAILED，并将关闭SparkContext。其实，启动Executeors是通过 ExecutorRunnable实现的，而ExecutorRunnable内部是启动 CoarseGrainedExecutorBackend的。 9、最后，Task将在CoarseGrainedExecutorBackend里面运行，然后运行状况会通过Akka通知CoarseGrainedScheduler，直到作业运行完成。 Spark节点的概念 一、Spark驱动器是执行程序中的main()方法的进程。它执行用户编写的用来创建SparkContext(初始化)、创建RDD，以及运行RDD的转化操作和行动操作的代码。 驱动器节点driver的职责： 1、把用户程序转为任务task(driver) Spark驱动器程序负