02-MapRd后谁主沉浮：怎样设计下一代数据处理技术？.pdfVIP

0022--MMaappRReedduuccee后后谁谁主主沉沉浮浮：：怎怎样样设设计计下下一一代代数数据据处处理理技技术术？？

上一讲中，我们介绍了2014年之前的大数据历史，也就是MapReduce作为数据处理的默认标准的时代。

重点探讨了MapReduce面对日益复杂的业务逻辑时表现出的不足之处，那就是：1. 维护成本高；2. 时间性

能不足。

同时，我们也提到了2008年诞生Google西雅图研发中心的FlumeJava，它成为了Google内部的数据处理

新宠。

那么，为什么是它扛起了继任MapReduce的大旗呢？

要知道，包括Google内的硅谷一线大厂，对于内部技术选择是非常严格的，一个能成为默认方案的技

术至少满足以下条件：

1. 经受了众多产品线，超大规模数据量例如亿级用户的考验；

2. 自发地被众多内部开发者采用，简单易用而受开发者欢迎；

3. 能通过内部领域内专家的评审；

4. 比上一代技术仅仅提高10%是不够的，必须要有显著的比如70%的提高，才能够说服整个公司付出技术迁

移的高昂代价。就看看从Python 2.7到Python 3的升级花了多少年了，就知道大厂迁移技术是异常艰难

的。

今天这一讲，我不展开讲任何具体技术。

我想先和你一起设想一下，假如我和你站2008年的春夏之交，已经清楚了M