S4分布式流计算平台.pdfVIP

S4:分布式流计算平台 概要 S4 是一个通用的，分布式的，可扩展的，分区容错的，可插拔的平台。开 发者可以很容易的在其上开发面向无界不间断流数据处理的应用。编键的数据 事件被分类路由到处理单元（Processing Elements，PEs），处理单元消费这些事 件，做如下事情之一或全部：（1）发出一个或多个可能被其他 PE 处理的事件。 （2 ）发布结果。这种架构类似提供了封装和地址透明语义的 Actor 模式，因此 允许应用在大规模并发的同时暴露简单的编程接口给应用开发者。在这篇论文 里，我们将勾画S4 的架构细节，描述各种各样的应用，包括实际中的部署。我 们的设计主要由大规模应用在生产环境中的数据采集和机器学习所驱动。我们 展示了S4 设计令人惊奇的灵活性，使其运行在构筑于普通硬件之上的大规模集 群中。 关键词：编程模型(programming model); 复杂事件处理(complex event processing);并发编程(concurrent programming); 数据处理(data processing); 分 布式编程（distributed programming); map-reduce; 中间件(middleware); 并行 编程(parallel programming); 实时搜索(real-time search); 软件设计(software design); 流计算(stream computing) 一、介绍 S4 （简单可扩展流系统的首字母简称:Simple Scalable Streaming System ）是一 个受Map-Reduce 模式启发的分布式流处理引擎。我们设计这个引擎是为了解决 使用数据采集和机器学习算法的搜索应用环境中的现实问题。当前的商用搜索引 擎，像Google、Bing 和Yahoo ！，典型的做法是在用户查询响应中提供结构化的 Web 结果的同时插入基于流量的点击付费模式的文本广告。为了在页面上的最 佳位置展现最相关的广告，科学家开发了算法来动态估算在给定上下文中一个广 告被点击的可能性。上下文可能包括用户偏好，地理位置，之前的查询，之前的 点击等等。一个主搜索引擎可能每秒钟处理成千上万次查询，每个页面都可能会 包含多个广告。为了处理用户反馈，我们开发了 S4 ，一个低延迟，可扩展的流 处理引擎。 为了便于在线实验算法，我们设想一种既适合研究又适合生产环境的架构。 研究的主要需求是要具有将算法快速发布到特定领域的高度灵活性。这使得以最 小的开销和支持在实际流量中测试在线算法成为可能。生产环境的主要需求是可 扩展性（以最小的代价通过增加更多的机器来提高吞吐量的能力）和高可用性（在 存在系统故障的情况下不需要人工介入仍然能持续提供服务的能力）。我们考虑 过扩展开源的 Hadoop 平台来支持无界流计算但是我们很快认识到 Hadoop 平台 是为批处理做了高度优化的。MapReduce 系统典型的是通过调度批量任务操作静 态数据。而在流计算中的典型范式是有一个在我们无法控制的数据比率之上的事 件流流入系统中。处理系统必须赶得上事件流量，或者通过消减事件优雅的降级， 这通常被称为负载分流（load shedding）。流处理的这一模式决定了要和批处理 使用非常不同的架构。试图建造一个既适合流计算又适合批处理的通用平台结果 可能会是一个高度复杂的系统，并且最终可能都不是两者最理想的实现。一个作 为Hadoop 扩展构建的MapReduce 在线架构的例子可以在[3]中找到。 MapReduce 编程模型可以很容易的将多个通用批数据处理任务和操作在大 规模集群上并行化，而不必担心像failover 管理之类的系统问题。MapReduce 编 程模型在Hadoop 之类的开源软件浪潮推动下加速被采用，并且从实验室走向了 Web 搜索、欺诈检测、在线约会等各种各样的实际应用中。但是通用的分布式 流计算软件却没有类似的发展趋势。虽然已经有各种各样的工程和商业引擎 （[6] ,[7] ,[8] ,[9] ,[10] ），但是它们的使用仍然局限于高度专业化的应用。Amini et. al.[7]给出了各种系统的评论。 实时搜索、高频交易、社交网络等新应用的出现