基于FILTER算子匹配增量式DAG计算复用方法.docVIP

基于FILTER算子匹配增量式DAG计算复用方法 　　摘 要：伴随着数据的爆炸式增长，越来越多的大数据业务分析与处理选择分布式计算平台。目前针对大数据的分布式计算框架都支持DAG式的任务编排。由于大数据采集来源以及分布式存储系统特点，很多使用DAG框架?M行计算的应用都是增量式的大数据集，但现有的DAG框架对这样的数据集进行计算时有许多冗余，造成计算资源浪费。提出了在DAG框架上进行增量式复用的方法，并针对FILTER算子特点提出了基于FILTER算子匹配的间接复用机制。 　　关键词：增量计算；分布式计算；计算复用；查询优化；DAG计算 　　DOIDOI：10.11907/rjdk.171282 　　中图分类号：TP301 　　文献标识码：A 文章编号：1672-7800（2017）007-0026-03 　　0 引言 　　利用大数据进行业务分析与处理越来越多，Google的Map-Reduce、Apache Hadoop MR以及Apache Spark是应用甚广的分布式计算框架[1-2]，即便缺乏分布式系统经验的大数据工作者，也能充分利用分布式计算所带来的性能提升。 　　早期这些分布式计算框架主要用于批处理作业，随着数据量的增加以及业务需求的演进，更复杂高效的数据操作手段成为大数据分析与处理的重要需求。Pig、Hive以及Spark SQL都提供了相较于MPI及Map-Reduce等传统分布式计算手段更高层次的分布式数据集接口，通过这些接口可以更轻松地对大数据集进行分析与处理[3?C5]。 　　大数据计算平台的分布式存储系统，如GFS、HDFS都具备一些共同特征：数据的更新主要通过附加新数据方式完成，而这类增量式数据进行处理时，往往会产生较多的冗余计算[6-7]。 　　本文提出了在增量计算中进行间接复用的方法，并通过解构、分析FILTER算子方式，达成比算子级更低粒度的计算复用，从而提升算子复用机会，使整体计算效率得到提升。 　　1 相关工作 　　增量计算中的复用方法有以下两种方式： 　　（1）对结果集进行局部更新，即通过针对特定的分布式作业管线设计一系列动态算法，并依据该算法对此前的结果集进行小规模的局部更新，从而使剩余大部分结果集得以复用。Google设计的可用来更新Page Rank的Percolator就是采用这种方法的代表[8]。该种方式主要针对特定的分布式计算任务。 　　（2）对作业管线中的子任务进行缓存及复用，从而透明地重用此前的计算结果，由系统自动地将可复用的子任务计算结果进行缓存，在缓存命中的情况下，就可避免相关子任务计算。 　　ReStore通过分析并改写作业的物理计划达到复用之前计算的目的[9]。ReStore不仅可复用完整的计算作业，还可复用作业中的子作业，有效提升了复用发生几率。 　　与Restore不同，Nectar系统所对应的输入是DAG作业，而非传统的MR作业[10]。Nectar在DryadInc的两个DAG作业复用算法IDE及MER基础上，阐述了整个复用体系的工作机制，并重点阐述了对数据中心的数据管理方法[7]，在复用粒度上与Restore相似。Nectar在查询任务的逻辑计划上进行分析与复用优化，将计算逻辑与计算数据进行复合并作为缓存键，将计算结果存储于分布式文件系统中，并通过缓存服务器对其进行索引。 　　2 基于FILTER算子匹配的间接复用 　　2.1 基本概念 　　大数据规模庞大，在以事务为中心的数据库中难以进行批量计算和处理，非关系式的数据模型索引建立和维护较为困难，在检索上往往面临性能上的挑战。目前分布式计算框架是通过多节点的并行运算来提升计算效能的。 　　增量数据往往是对事物的客观记录和描述，通常都是历史信息，这类数据具有不会更新、删除的特点。增量型数据可定义为： 　　其中，D（t）表示t时刻数据集。当需要多次对这样的数据集进行非连接型操作（例如过滤、投影以及聚合操作等）时，往往要付出巨大代价。为了针对增量式数据设计增量式DAG计算复用策略，首先对DAG中的算子进行划分。在这些算子中，可合并计算算子可以有效地进行增量计算复用。可合并计算算子定义为这样一类函数： 　　则称f为可合并计算算子， merge为其合并函数。在DAG运算中，FILTER、SORT、PROJECT，AGGREGATE等算子都具备该性质。 　　2.2 间接复用 　　在对FILTER算子进行复用时，除了在算子完全相同时直接复用计算结果外，还存在间接复用计算结果的可能性。下面介绍基于FILTER算子匹配的间接复用方法。 　　例：在所有人中找年龄大于30的人，若在此前已经找过年龄大于20的人，且该结果已经缓存，那么这部分被缓存的数据仍然可以利用，即便算子Fil