Spark版本定制班第4課-Frank.docxVIP

第4课：Spark Streaming事务处理作者：杭州-Frank 本期导读： Exactly Once输出不重复Spark?Streaming?事务处理架构什么是事务以银行转帐为例，A用户转笔账给B用户，如果B用户没收到账，或者收到多笔账，都是破坏事务的一致性。事务处理就是，能够处理且只会处理一次，即A只转一次，B只收一次。从事务视角解密Spark Streaming架构SparkStreaming应用程序启动时会分配资源，除非整个集群硬件资源崩溃，一般情况下都不会有问题。SparkStreaming程序分成而部分：DriverExecutorReceiver接收到数据后不断发送元数据给Driver，Driver接收到metadata元数据信息后进行CheckPoint处理。其中CheckPoint包括：Configuration（含有Spark?Conf、Spark Streaming等配置信息）、Block MetaData、DStreamGraph、未处理完和等待中的Job。Receiver可以在多个Executor节点的上执行Job，Job的执行完全基于SparkCore的调度模式进行。架构演进变化图根据上面的解密画出最基础的架构，如下图1所示：图1图1只是Spark Streaming基本的情况，Executor只有函数处理逻辑和数据，外部InputStream流入到