《大数据离线分析技术》课件——广播变量.pptxVIP

;广播变量的定义;广播变量的定义;累加器广播变量允许程序员在每台机器上保留一个只读变量，而不是随副本一起发送它的副本。例如，它们可用于以有效的方式为每个节点提供大输入数据集的副本。Spark还尝试使用有效的广播算法来分发广播变量，以降低通信成本。

;Spark动作通过一组阶段执行，由分布式“shuffle”操作分隔。Spark自动广播每个阶段中任务所需的公共数据。以这种方式广播的数据以序列化形式缓存并在运行每个任务之前反序列化。;使用广播变量的过程;(1)通过对一个类型T的对象调用SparkContext.broadcast创建出一个Broadcast[T]对象。任何可序列化的类型都可以这么实现。

(2)通过value属性访问该对象的值(在Java中为value()方法)。

(3)变量只会被发到各个节点一次，应作为只读值处理。;广播变量的使用;在多个并行操作中使用同一个变量，但是Spark会为每个任务分别发送。

scalavalbroadcastVar=sc.broadcast(Array(1,2,3))

broadcastVar:org.apache.spark.broadcast.Broadcast[Array[Int]]=Broadcast(35)

scalabroa