遗传规划在科学数据库查询优化中应用的初探.pdfVIP

遗传规划在科学数据库查询优化中应用的初探 周园春 阎保平 (中国科学院计算机网络信息中心，北京100080) 摘要随着科学数据库中的数据量越来越大，对科学数据库的查询优化也就显得 越来越重要。本文对遗传规划在科学数据库查询优化中的应用作了初步的探讨。 关键词遗传规划科学数据库查询优化 1．引 言 科学数据库经过十几年的建设和发展，已经成为目前国内信息量最大，学科专业最广， 服务层次最高，综合性最强的科学信息服务系统。其内容涵盖了化学、生物、天文、材料、 腐蚀、光学机械、自然资源、能源、生态环境、湖泊、湿地、冰川、大气、古气候、动物、 水生生物、遥感等多种学科，截止2003年底，科学数据库专业数据库超过300个，总数据量 达4TB以上。科学数据库为科研工作者提供了一个良好的基础设施，已经成为科研工作者管 理信息和发掘信息的基本的工具。 但是随着时间的推移，科学数据库中的数据日益增加，查询科学数据库的效率就会影响 到科学数据库的使用，所以就有必要对科学数据库的查询进行优化。目前已经有很多算法应 用于数据库的查询优化。本文根据科学数据库查询优化的特点(本质上是查询树空间的搜索 问题)和遗传规划GP(Genetic 询优化中。 2．科学数据库中查询处理和优化的基本概念 2．1科学数据库中的查询处理 图1是科学数据库中的查询处理流程图，主要包括三个过程：查询语句解析器、查询优 化器和查询计划执行器，涉及到三种形式：查询语句、内部定义形式(查询树)、查询结果， 需要系统提供的支持：科学数据库目录(元数据)。 1．查询计划就是指查询是如何执行的，大部分的查询计划都是一个用树形结构，其叶节 点为关系表，中间节点为关系表的操作。 2．查询解析器主要是对查询语句进行语法分析，重写查询语句，并翻译成内部的表达形 式——查询树，以便更好的实现查询优化。 3．查询优化器主要的功能是由查询计划生成器枚举出多种等价于该内部表示形式的可能 方案，然后由查询计划评估器根据一定的评估模型对上述产生的每种方案进行评估，最后选 出选择执行最快的查询计划。 4．查询计划执行器就是执行选择好的查询计划，并返回查询的结果。在科学数据库中， model)，把查询执行分成好几个小操作，提供每个小 查询的执行可以利用地迭代模式(Iterator 操作的基本实现，每个小操作就是一个迭代子，这样充分利用流水线已达到更好的性能。 5．科学数据库目录主要是提供解析查询语句和优化、执行一个查询计划所需要的信息。 其中查询优化器是最关键的部分之一。 查询语句 ’ 查询树 k．-一 ● 查询执行计划 }●■l·-一 ， 一-[二!亟墅亟[]／ 查询结果 图I科学数据库中的查询处理流程图 2．2科学数据库中的查询优化 在科学数据库中查询优化器的目的是对于任意给定的查询，寻找一个好的查询计划。典 型地，一个优化器只会考虑所有可能查询计划的一个子集，因为所有可能查询计划的数量会 非常巨大，如果一次考虑每个查询计划，从而执行其中最优的一个，会比只考虑一个查询计 划并直接执行它(即使它是个根本没有优化过的查询计划)而花费更多的时间。 科学数据库查询优化器主要通过三个步骤来实现的：第一，查询语句必须重写成查询树； 其次，优化器必须枚举出多种该表达式可能的查询计划；最后，优化器必须测算每个枚举的 计划的代价，从中选出最优(或者接近最优)的查询计划。 从科学数据库查询优化器的目的可以看出，它本质上是一个执行复杂搜索的问题，这就 意味着对于任意给出的查询，在语义等价的查询计划集中搜索一个最佳(有时候可能是次佳) 的计划。所以很多复杂搜索的方法都可以用于科学数据库的查询优化： Search)：它对整个搜索空间的每个查询计划进行评价．(有时会用 1．穷举搜索(Exhaust