57共享变量广播变量与累加器82课件讲解.pptxVIP

5.7共享变量广播变量与累加器

为什么需要共享变量？分布式环境下的Driver与Executor隔离分布式闭包复制的痛点1.内存浪费：闭包变量会被序列化并复制到每个Task，大变量会导致大量网络传输和内存冗余。2.无法聚合：普通变量无法跨Task实现全局累加，Executor间的计算结果无法直接互通。Spark共享变量解决方案1.广播变量(Broadcast)：针对只读数据，每个Executor仅保留一份副本，避免重复分发，高效分发大表。2.累加器(Accumulator)：提供安全的全局聚合机制，支持在Driver端定义，在Executor端更新，常用于计数或求和。核心价值：突破Driver与Executor的隔离限制，实现高效数据共享与全局状态管理

广播变量（BroadcastVariable）典型应用场景适用于只读大对象：如分布式查找表、机器学习模型参数、静态配置文件等。核心作用：高效分发与共享将只读数据分发到所有Executor，每个节点仅保存一份副本，该节点上的所有Task共享，避免重复传输。使用步骤：创建-访问-释放Driver创建广播变量-Task通过value()方法访问-使用完毕后调用unpersist或destroy释放资源。底层原理：TorrentP2P传播数据被切分