36-Facebook游戏实时流处理BeamPipeline实战（下）.pdfVIP

3366--FFaacceebbooookk游游戏戏实实时时流流处处理理BBeeaammPPiippeelliinnee实实战战（（下下））

你好，是蔡元楠。

在上一讲中，们一起对怎样实现一个简易的游戏积分排行榜展开了讨论，也一起研究了如何使用批处理计

算的方式在Beam中构建出一个数据流水线来得出排行榜结果。

们知道，虽然批处理计算可以得到一个完整的结果，但是它也存在着自身的不足，比如会有一定的延时，

需要额外的crontab来管理定时任务，增加了维护成本等等。

所以在上一讲的末尾，们提出了使用实时流处理来改进这些不足，而其中就需要用到窗口、触发器和累加

模式这几个概念。

相信学习了第32讲的内容后，你对于窗口在Beam中是如何运作的，已经比较了解了。对于有效时间为一周

的积分排行榜来说，们可以赋予一个“窗口时长为一周的固定窗口”给数据流水线。也就是说，们最终

的结果会按照每一周的时长来得出。

那接下来的问题就剩下们怎么定义触发器和累加模式了。

首先，想先讲讲触发器在Beam中是怎么运作的。在第23讲中，们已经了解了触发器在Beam中的作

用。它是用于告诉数据流水线，什么时候需要计算一遍落在窗口中的所有数据的。这在实时流处理中尤为重

要。

在实时流处理当中，们总是需要在数据结果的完完整整性性和延延迟迟性性上做出一些取舍。