基于代价顺序查询优化.docVIP

基于代价顺序查询优化 　　【摘　要】　数据流的高速性和无限性以及计算机资源的有限性使得提高数据处理速度成为数据流管理系统（DSMS）的关键；本文主要讨论了DSMS的核心技术--查询优化；通过并行查询处理技术来提高数据流处理速度的新方法。 　　【关键词】　数据流 并行查询优化 shared--nothing 　　1.顺序查询优化的代价指标 　　一个计划的代价一般由总工作量和内存消耗两个要素组成。在单机数据库系统中，总工作量主要包括CPU占用时间和I/O时间。为了并行化地需要，顺序优化的代价计算应当包括计划的结点间的通信代价。因此总工作量由CPU占用时间、I/O时间和网络通信时间三部分组成。 　　2.顺序优化的搜索策略 　　顺序优化的关键问题是从搜索空间SequenceSpace（操作间的偏序关系、操作算法、数据分片策略）中搜索代价最小的计划。解决这个问题的标准技术是动态规划（Dynamic　programming）。动态规划是一种接近穷尽搜索的方法，可以保证找到最优的计划。虽然从理论上讲，动态规划仍然是指数级的算法，但是在实际的搜索过程中，动态规划的效率是相当高的。 　　在动态规划中，比较两个子计划优劣的指标被称为裁减指标（Pruning　Metric）。动态规划算法的正确性依赖于下述关于裁减指标的两个假设： 　　最优化原则：如果两个计划中仅有一个子计划不同，那么具有较优子计划的计划较优。 　　全序原则：所有计划能够基于裁减指标全序排列，动态算法依靠这种全序关系来迅速裁减代价较大的计划，保证对于每一个关系子集只产生一个“最优”的子计划。 　　3.并行化 　　两阶段优化的第二个阶段――并行化阶段的任务是将顺序优化阶段得到的顺序执行计划转化成能在多个结点上并行执行的计划。并行化阶段的主要工作包括： 　　选择操作间的执行模式。即决定多个不同操作是串行执行还是并行执行。 　　决定操作的并行度。即一个操作在执行时生成多少个操作实例，系统需要为每个操作实例分配一个处理集，决定操作的并行度也就相当于确定为该操作分配多少个处理机。 　　处理机的分配。在SN结构下，还需要指定操作实例的执行结点。 　　并行化实际上是一个资源分配问题，即决定为每一个执行计划分配多少CPU、I/O、网络和内存资源。 　　3.1　并行化的目标――多资源负载平衡 　　最优地并行计划就是相应时间最短地计划。而并行计划地响应时间是由资源消耗和并行化程度两个因素决定的。因此，从另一个角度看，最优并行计划的衡量标准是：最小的资源消耗＋最充分的并行化。如果一个并行执行计划既能保证消耗最少的系统资源，又能保证将这些资源占用平均地分摊到系统内地资源单位上，那么该计划执行的响应时间必定最短。由于两阶段优化的一个基本特征是在顺序优化阶段对通信代价进行了预先的控制，并行化不会导致资源占用的增加，最优的并行计划就是负载最均衡的计划。因此并行化阶段的目标就变得非常明确：实现查询工作量在系统内多种资源上的负载平衡。 　　3.2　并行化的代价模型 　　由于并行化的根本目标是多资源的负载平衡，因此并行化的代价指标必然要反映任务的资源负载平衡状况。为了定量地描述任务地资源负载平衡状况，我们提出了任务资源向量和任务负载平衡因子两个概念。 　　在并行数据库系统中，资源有多种类型，每类资源又有若干实例，因此一个任务所消耗地各种资源构成了一个多维向量，一般称其为任务资源向量。任务资源向量可以准确地描述任务的资源占用情况。 　　任务负载平衡因子是在任务资源向量的基础上定义的。任务负载平衡因子准确地描述了任务负载在各个资源上地分布情况，任务负载平衡因子的值越小，任务并行化的效果越好。 　　另外，任务并行化的一个显而易见的约束是任务主存向量中所有成员的值都小于其对应的主存资源的最大容量，否则任务将因主存不够而无法执行。如果任务的主存向量满足这种执行约束，则被称为有效的任务主存向量。 　　3.3　缩减并行化搜索空间地启发式规则 　　假设系统由m个结点组成，每个结点上有1个处理机，如果可以对操作间地执行模式、操作的并行度，以及操作的处理结点进行任意选择（但是并行度必须小于处理机数目m），那么对一个包含n个操作的任务，可能的并行化方案数目是： 　　因此，并行计划搜索空间随着结点数目增加而呈指数级增长。SN系统中结点的数目往往比较大，因此我们采用了启发式规则对并行化搜索空间进行限制。 　　导致并行计划搜索空间比较大的主要原因是操作的并行度和处理机分配选择方案太多，上述公式的前提是并行度和处理机分配的选择是任意的。但实际上，对并行度和处理机分配的选择会受到其它一些因素制约。 　　规则1.　Scan操作的并行度和处理机分配方案应当与其对应的表的数据分片策略一致。 　　根据