交互式实时管理系统.pdfVIP

第三章 交互式实时管理系统 3.1 概述 数据查询是数据库等系统的核心功能，从关系数据库开始，对查询进行优化，减少查询 的响应时间就是数据库厂商和研究人员说关注的核心问题。针对关系数据库的查询优化已经 有了很多比较成熟的技术，但是随着大数据时代的到来，数据查询这一看似简单的功能又面 临着很多新的挑战。主要原因在于：1、数据量的增大使得传统的查询优化技术很难发挥功 效；2 、用户对查询需求更加关注查询的响应时间。而有些查询类型根本就不可能通过传统 的方法来减少查询时间，譬如ad-hoc 查询。 针对上述变化，目前学术界和产业界的研究点主要集中于如何在大数据的背景下，实现 交互式的实时查询系统。这种系统主要关注两个方面，一个是交互性，还有一个就是实时。 交互性体现在用户查询过程中系统的及时反馈，只有系统的及时反馈，才能确保用户根据反 馈的结果进行下一步的查询与分析。因此实现一个交互式的实时查询系统，关键问题还是如 何实现数据的实时查询，尤其是大数据环境下的实时查询。 交互式实时查询系统在很多领域都有着广泛的应用，譬如用户去网上购买商品，常常会 根据某些属性的组合来检索合适的商品，如果系统反馈的时间过长，用户很可能失去耐心， 不再购买。这类的查询在电子商务，电信，金融等诸多领域都有着非常广泛的应用。 实现交互式的实时查询系统大体上有两种思路：一种思路是在分布式的环境下通过增加 硬件资源（CPU、内存等）来减少数据查询的时间；在这种思路的指导下，Google 开发出 了Dremel 系统，主要用于Web 数据的分析与查询。受到Dremel 的启发，很多企业开始研 发类似的产品，目前比较具有代表性的就是Cloudera 公司的Impala 系统。在Dremel 之外， Google 还开发了PowerDrill 系统，该系统和Dremel 的应用场景不同，但是都能在极短的时 间内对海量的数据进行查询和分析。另一种思路则在数据精度和查询时间的延迟上进行了权 衡，以牺牲一定的数据精度来换取查询时间上的大幅度减少。这类系统的典型代表有 UCB 的AMP 实验室开发的BlinkDB 等。 下面会对Dremel，Powerdrill，Impala 和BlinkDB 这四个系统逐一进行分析，主要针对 其系统架构、特性和性能指标等展开介绍。同时也尽可能的尝试将同类型的系统进行初步的 对比分析。 3.2 Dremel 系统介绍 3.2.1 整体介绍 Dremel [1]是 Google 的“交互式”数据分析系统。可以组建成规模上千的集群，处理PB 级别的数据。MapReduce 处理一个数据，需要分钟级的时间。作为MapReduce 的发起人， Google 开发了Dremel 将处理时间缩短到秒级，作为MapReduce 的有力补充。Dremel 作为 Google BigQuery 的report 引擎，获得了很大的成功。最近Apache 计划推出Dremel 的开源 实现Drill，将Dremel 的技术又推到了浪尖上。 3.2.2 系统架构 简单起见，我们只讨论在只读系统中执行query 的核心思路。很多Dremel 查询其实是 一次性的聚合，因此我们以这种类型的查询作为重点。 Dremel 使用一个多层级服务树来执行查询（如图3. 1）。 13 图3. 1 多层级服务树 一个根节点服务器接收到来的查询，从表中读取元数据，将查询路由到下一层。叶子服 务器负责与存储层通讯，或者直接在本地磁盘访问数据。 一个简单的聚合查询如下： SELECT A, COUNT(B) FROM T GROUP BY A 当根节点服务器收到上述查询时，它确定出所有tablet （可以把一个column-stripe 理解 成一个table ，称之为T ，table 被分布式存储和查询时可认为T 进行了水平拆分，tablet 就相 当于一个分区），重写查询。各个节点返回的子查询结果（根节点是第0 层，下一层就是第 1 层，依次类推）： 查询分发器。Dremel 是一个多用户系统，也就是说，多个查询通常会被 同时执行。一个查询分发器会基于table 的分区和负载均衡对query 进行调度。它还能帮助 实