07-Worklo设计模式：让你在大规模数据世界中君临天下.pdfVIP

0077--WWoorrkkffllooww设设计计模模式式：：让让你你在在大大规规模模数数据据世世界界中中君君临临天天下下

今天我与你分享的主题是“Workflow设计模式：让你在大规模数据世界中君临天下”。

在上一讲中，我们一起学习了大规模数据处理的两种处理模式——批处理和流处理。

利用好这两种处理模式，作为架构师的你就可以运筹帷幄，根据实际需求搭建出一套符合自己应用的数据处

理系统。

然而，光是掌握了这两种数据处理模式就足够自如应对大规模数据世界中的需求挑战吗？从我的实战经验中

看来，其实未必。

我们每个人在最开始学习大规模数据处理的时候，可能都是以WordCount作为教学例子来进行学习的。

WordCount这个例子，只需一个单词集合作为输入，数据处理的结果是统计单词出现的次数，中间只需

经过一次数据处理的转换，就如同下图所示。

但在现实的应用场景种中，各式各样的应用需求决定了大规模数据处理中的应用场景会比WordCount复杂

很多倍。

我还是以我在第一讲中所提到过的例子来说明吧。

在根据活跃在街头的美团外卖电动车的数量来预测美团的股价这个例子中，我们的输入数据集有可能不止一

个。

例如，会有自己团队在街道上拍摄到的美团外卖电动车图片，会有第三方公司提供的美团外卖电动车数据集

等等。

整个数据处理流程又会需至少10个处理模