30-ApacheBeam实战冲刺：Beam如何runeverywhere-.pdfVIP

3300--AAppaacchheeBBeeaamm实实战战冲冲刺刺：：BBeeaamm如如何何rruunneevveerryywwhheerree--

你好，我是蔡元。

今天我要与你分享的主题是“Apache Beam实战冲刺：Beam如何run everywhere”。

你可能已经注意到，自第26讲到第29讲，从Pipeline的输入输出，到Pipeline的设计，再到Pipeline的测试，

Beam Pipeline的概念一直贯穿着文章脉络。那么这一讲，我们一起来看看一个完整的Beam Pipeline究竟是

如何编写的。

BBeeaamm PPiippeelliinnee

一个Pipeline，或者说是一个数据处理任务，基本上都会包含以下三个步骤：

1. 读取输入数据到PCollection。

2. 对读进来的PCollection做某些操作（也就是Transform），得到另一个PCollection。

3. 输出你的结果PCollection。

这么说，看起来很简单，但你可能会有些迷惑：这些步骤具体该怎么做呢？其实这些步骤具体到Pipeline的

实际编程中，就会包含以下这些代码模块：

Java

// Start by defining the options for the pipeline.

PipelineO