29dataflow一正确性容错时间窗口海量资源.pdfVIP

2021/12/1729|

APP

29|

2021-12-15

《大数据经典解读》课程介绍

讲述：



时长21:27大小19.66M

你好，我是。

在Storm的里，我们看到Storm巧妙地利用了异或操作，能够追踪消息是否在整

个Topology中被处理完了，做到了“至少一次（AtLeastOnce）”的消息处理机制。然

后，在Kafka的里，我们又看到了，Kafka通过将消息处理进度的偏移量记录在

ZooKeeper中的方法，使得整个消息队列非常容易重放。Kafka的消息重放机制和Storm

组合，就使得AtLeastOnce的消息处理机制不再是纸上谈兵。

然而，我们并不会满足于“至少一次”的消息处理机制，而是希望能够做到“正好一次

正好一次

（ExactlyOnce）”的消息处理机制。因为只有“正好一次”的消息处理机制，才能使得

”的消息处理机制。因为只有“正好一次”的消息处理机制才能使得

我们计算出来的数据结果是真正正确的。而一旦需要真的实现“正好一次”的消息处理机

1/15

2021/12/1729|

制，系统的“容错能力”就会变得非常重要。Storm的容错能力虽然比起S4已经有了一

定的进步，但是实际上仍然非常薄弱。

所有的这些问题，伴随着Kappa架构设想的出现，为我们带来了新一代的流式数据处理系

统。那么，接下来的几节课里，让我们步入现代流式数据处理系统，一起看看从

的MillWheel、Dataflow，到开源的ApacheFlink的系统是怎么回事儿。

在这节课里，我们会先看看在没有这些系统的时候，在实践上使用Storm时会遇到哪些实

为什么“ExactlyOnce”的消息处理是的，但又是必须的。

为什么Storm的容错机制，比起实际需求远远不够，和MapReduce这样同样粗糙而

原始的框架比起来，Storm的容错机制了什么。

“时间窗口（TimeWindow）”是一个什么样的概念，为什么这个概念对于流式数据处

理系统如此重要。

在理解了这些问题，我们其实就已经开始近现代的流式数据处理系统了。只要能够

一个简单的流式数据处理系统

我们先来看一看，在有了Kafka和Storm，一个实际的流式数据处理系统是怎么样

的。

最简单的，我们就采用一个进行点击率计算和计费的数据处理需求。我们的日志会是

这样的格式：

2/15

2021/12/1729|

系统日志的简单示例

每一条日志，都表示一次相关的日志。其中，位ID+客户ID+ID标

明了是哪一个，展示在了哪一个位置上。比如，可口可