Apache Beam技术架构介绍.pdf

Apache Beam介绍 杨旭钧 Apache Beam 中文社区 Apache Beam概要介绍 什么是Apache Beam? Apache Beam 编程模型 • What/Where/When/How Beam Beam 其他语 Java Python 言 Beam Pipeline 的SDK • Java 、Python Beam Model : Data Pipeline Apache Apache Apache Apache Cloud Gearpum 内置一系列的Beam Runners Apex Flink Spark DataFlow p • Apache Apex • Apache Flink Beam Model:Fn Runners • Apache Gearpump • Apache Kafka Executio Executio Executio • Apache Spark n n n • Google Cloud DataFlow Beam支持的外部数据IO ● HDFS ● HBase ● JD B C ● MongoDB ● Elastic se ar c h ● Kafka ● Kin esis ● J M S ● MQTT ● Goog le - GCS, BigQuery, BigTab le, Datastore Apache Beam 模型介绍 • PCollection – 窗口内基于时间戳元素的并行集合。 • Sources Readers – 产生时间戳元素的Pcollections 和水标。 • ParDo – 在Pcollection的元素上执行的并行处理函数。 • (Co)GroupByKey – shuffle group {{K: V}} → {K: [V]} 。 • Side inputs – PCollection 的全局视图，用于broadcast / joins 。 Apache Beam 模型介绍 • Window – 重新分配元素给窗口; 可能是数据依赖。 • Triggers – 基于窗口、水标、计数、延时进行流控。 Pcollection 介绍 Pipeline IO 读取输入数据—从文件中读取文本 PCollectionString lines = p.apply(TextIO.Read.from(“gs://some/inputData.txt)); 编写输出数据—保存数据到外部文件 PCollectionString lines = p.apply(TextIO.Read.from(“gs://some/inputData.txt)); 多对多输入和输出 Pcollection可从多个文件读取数据，也可以将