32-BeamWindow：打通流处理的任督二脉.pdfVIP

3322--BBeeaammWWiinnddooww：：打打通通流流处处理理的的任任督督二二脉脉

你好，我是蔡元。

今天我要与你分享的主题是“Beam Window：打通流处理的任督二脉”。

在上一讲中，我们一起用Beam编写了第一个完整的WordCount项目，我们所用的例子是统计莎士比亚的文

集中最常使用到的一些单词。

这里我们所用到的“莎士比亚文集”这种类型的数据集是一个静态的数据集。也就是说，我们在生成输入数

据集的时候，就已经知道了这个数据集是完整的，并不需要再等待新的数据进来。

根据前面的内容，我们可以把这种数据集归类为有界数据集（Bounded Dataset）。这里我们的数据流水线

就是一个批处理的数据流水线。

这个时候你可能会有一个疑问，如果我们想要统计的内容是一个正在连载的小说，我们在编写数据流水线的

时候，这个小说还并没有完结，也就是说，未来还会不断有新的内容作为输入数据流入我们的数据流水线，

那我们需要怎么做呢？

这个时候我们就需要用到窗口（Window）这个概念了。

窗窗口口

在Beam的世界中，窗口这个概念将PCollection里的每个元素根据时间戳（Timestamp）划分成为了不同的

有限数据集合。

当我们要将一些聚合操作（Aggregation）应用在PCollection上面的时候，或者我们想要将不