Drill分享讲解.pptx

Apache Drill 大数据处理部—王维 成都数联铭品 2015.06.15 第一篇：Apache Drill概述 第二篇：Apache Drill优势 第三篇：Apache Drill架构 第四篇：Apache Drill原理 第五篇：Apache Drill应用 第六篇：Apache Drill性能 第七篇：Apache Drill其他 第一篇：概述 Apache Drill是一个低延迟的分布式海量数据（涵盖结构化、半结构化以及嵌套数据）交互式查询引擎，使用ANSI SQL兼容语法，支持本地文件、HDFS、Hive、HBase、MongoDB等后端存储，支持Parquet、JSON、CSV、TSV、PSV等数据格式。受Google的Dremel启发，Drill满足上千节点的PB级别数据的交互式商业智能分析场景。 本质上，Apache Drill是Google Dremel的开源实现，本质是一个分布式的mpp(大规模并行处理)查询层，支持SQL及一些用于NoSQL和Hadoop数据存储系统上的语言，将有助于Hadoop用户实现更快查询海量数据集的目的。 Drill的目的在于支持更广泛的数据源、数据格式及查询语言，可以通过对PB字节数据的快速扫描（大约几秒内）完成相关分析，将是一个专为互动分析大型数据集的分布式系统。 Google Dremel设计思想 随着Hadoop的流行，大规模的数据分析系统已经越来越普及。数据分析师需要一个能将数据“玩转”的交互式系统。如此就可以非常方便快捷的浏览数据，建立分析模型。Dremel系统有下面几个主要的特点： Dremel是一个大规模系统。在一个PB级别的数据集上面，将任务缩短到秒级，无疑需要大量的并发。磁盘的顺序读速度在100MB/S上下，那么在1S内处理1TB数据，意味着至少需要有1万个磁盘的并发读。但是机器越多，出问题概率越大，如此大的集群规模，需要有足够的容错考虑，保证整个分析的速度不被集群中的个别慢(坏)节点影响。 Dremel是MR交互式查询能力不足的补充。和MapReduce一样，Dremel也需要和数据运行在一起，将计算移动到数据上面。所以它需要GFS这样的文件系统作为存储层。在设计之初，Dremel并非是MapReduce的替代品，它只是可以执行非常快的分析，在使用的时候，常常用它来处理MapReduce的结果集或者用来建立分析原型。 Dremel的数据模型是嵌套(nested)的。互联网数据常常是非关系型的。Dremel还需要有一个灵活的数据模型，这个数据模型至关重要。Dremel支持一个嵌套(nested)的数据模型，类似于Json。而传统的关系模型，由于不可避免的有大量的Join操作，在处理如此大规模的数据的时候，往往是有心无力的。 Dremel中的数据是用列式存储的。使用列式存储，可以只扫描需要的那部分数据的时候，减少CPU和磁盘的访问量。同时列式存储是压缩友好的，使用压缩，可以综合CPU和磁盘，发挥最大的效能 Dremel结合了Web搜索 和并行DBMS的技术。首先，他借鉴了Web搜索中的“查询树”的概念，将一个相对巨大复杂的查询，分割成较小较简单的查询。大事化小，小事化了，能并发的在大量节点上跑。其次，和并行DBMS类似，Dremel可以提供了一个SQL-like的接口，就像Hive和Pig那样。 第二篇：优势 学习成本低 低延迟的SQL查询 动态查询自描述数据文件（如JSON，Parquet，text），MAPR-DB / HBase表，不需要元数据定义的Hive元数据。 ANSI SQL 嵌套数据支持 与Apache Hive一体化（Hive表和视图的查询，支持所有Hive文件格式和HiveUDFs） BI/ SQL工具集成使用标准的JDBC驱动程序 访问多个数据源 用户自定义函数(UDF) 高性能(设计上高吞吐量和低延迟，不使用通用的执行引擎，柱形矢量引擎) 第三篇：架构 Apache Drill的核心是DrillBit服务，主要负责接收客户端请求，处理查询，并将结果返回给客户端。 DrillBit能够被安装和运行在hadoop集群中所需要的节点上形成一个分布式环境。当DrillBit运行在集群的每个节点上时，能够最大限度的实现数据的本地化执行，不要进行网络和节点间的数据移动。Drill使用Zookeeper来维护和管理集群节点和节点的健康状况。 尽管Drill运行在hadoop集群中，但是它不依赖hadoop集群，可以运行在任何的分布式集群中。 第四篇：原理 当提交一个Drill查询时，客户端或应用程序以SQL语句的方式发送查询给Drill集群中的DrillBit。DrillBit处理运行在每个活动节点上的查询计划和执行查询，以及跨集群分发查询任务以