基于云计算的多重查询优化系统.pdfVIP

第40卷　 第9期 　 计 算 机 工 程 　 2014年9月 　 　 Vol.40　 No.9 　 Computer Engineering September 2014 ·先进计算与数据处理 · 文章编号:1000-3428(2014)09-0046-05　 　 　 文献标识码:A　 　 　 中图分类号:TP311.13 基于云计算的多重查询优化系统 1 1 2 葛　 星 ,沈　 耀 ,徐常亮 (1.上海交通大学计算机科学与工程系,上海200240;2.阿里云计算有限公司,杭州310099) 摘　 要:在常规海量数据分析作业中,CPU/ IO密集型的查询语句通常复杂、耗时并存在大量可复用的公共部 分。 如何检测、共享和复用回归查询集中语句间的公共部分成为亟需解决的问题。 为此,提出特征值索引方 法,并构建适用于云计算场景的LSShare多重查询优化系统。 基于查询语句的抽象语法树将语句划分为不同的 查询层次,针对每个查询层次抽取特征向量并计算特征值。 建立简单高效的特征值索引表以识别多重查询语 句间的公共部分,并结合 SQL重写技术来复用其中的公共部分。 随着运行迭代次数的增加,LSShare 系统将逐 步优化云计算场景中的回归查询集。 实验结果表明,该系统在运行效率上优于传统查询语句系统,可节约近 1/ 3的执行时间。 关键词:云计算;多重查询优化;查询处理;子表达式识别;海量数据处理;回归查询集 Multiple Query Optimization System Based on Cloud Computing 1 1 2 GE Xing ,SHEN Yao ,XU Chang-liang (1.Department of Computer Science and Engineering,Shanghai Jiaotong University,Shanghai200240,China; 2.Alibaba Cloud Computing Co.,Ltd.,Hangzhou 310099,China) 【Abstract】 In routine massive data analysis queries,the CPU/ IO intensive analysis queries are complex and time- consuming,but share common components.It is challenging to detect,share and reuse the common components among thousands of SQL-like queries. Aiming at these problems,this paper proposes the signature-index approach and implementsthe LSShare system to solve the Multiple Query Optimization(MQO) problem in the cloud with a recurring query set.It generates signatures for each query based on Abstract Syntax Tree(AST).Then it makes a simple but efficient index for further identifying and sharing common compo