二零二三年 优质公开课Spark生态介绍3.pptx

Spark生态介绍-3 了解Spark编程的进阶特性-共享变量 累加器1广播变量2 PART1累加器 累加器累加器用来对信息进行聚合，而广播变量用来高效分发较大的对象。在已有的RDD转化操作的基础上，我们为类似查询数据库这样需要很大配置代价的任务引入了批操作。 累加器累加器提供了将工作节点中的值聚合到驱动器程序中的简单语法。累加器的一个常见用途是在调试时对作业执行过程中的事件进行计数。 累加器的用法通过在驱动器中调用SparkContext.accumulator(initialValue)方法，创建出存有初始值的累加器。返回值为org.apache.spark.Accumulator[T]对象，其中T是初始值initialValue的类型。Spark闭包里的执行器代码可以使用累加器的+=方法增加累加器的值。 驱动器程序可以调用累加器的value属性来访问累加器的值。 PART2广播变量 广播变量Spark的第二种共享变量类型是广播变量，它可以让程序员高效地向所有工作节点发送一个较大的只读值，以供一个或多个Spark操作使用。比如，如果你的应用程序需要向所有节点发送一个较大的只读查询表，甚至是机器学习算法中的一个很大的特征向量，广播变量用起来都很顺手。 使用广播的过程使用广播的过程：通过对一个类型T的对象调用SparkContext.broadcast创建出一个Broadcast[T]对象。任何可序列化的类型都可以这么实现。 通过value属性访问该对象的值。 变量只会被发到各个节点一次，应作为只读值处理（修改这个值不会影响到别的节点）。 广播变量 1.了解共享变量：累加器与广播变量