Apache Beam编程框架介绍.pptx

Apache Beam编程框架介绍流处理与批处理的统一编程框架Based on slides by Tyler Akidau Frances Perry.Apache Beam定义了流处理与批处理统一的编程模型， 它生成的流水线具有很好的可移植性， 它在执行层面定义了高效的执行协议。1. Apache Beam 编程模型Beam PythonBeam JavaOtherLanguagesWhat Where When How2. SDK 构建流水线JavaPythonBeam Model: 构建流水线3. 执行引擎 RunnersApache ApexCloudDataflowApacheSparkApexSparkFlinkGoogle Cloud DataflowApache FlinkBeam Model: 执行用户方法ExecutionExecutionExecution流处理与批处理统一编程模型1目标:计算每个队的得分支持流处理与批处理/wiki/File:Globe_centered_in_the_Atlantic_Ocean_(green_and_grey_globe_scheme).svg...越来越多的数据...Thursday Wednesday Tuesday… 无边界的流数据...8:001:009:002:0010:003:0011:004