列式内存数据库的自组织元组重构方法研究-计算机科学与技术专业论文.docxVIP

万方数据 万方数据 Classified Index: TP399 U.D.C: 621.3 Dissertation for the Master Degree in Engineering RESEARCH ON SELF-ORGANIZING TUPLE RECONSTRUCTION FOR IN-MEMORY COLUMN DATABASE Candidate： Xiaomeng Gao Supervisor： Prof. Yunming Ye Academic Degree Applied for： Master of Engineering Speciality： Computer Science Technology Affiliation： Shenzhen Graduate School Date of Defence： December, 2013 Degree-Conferring-Institution： Harbin Institute of Technology 哈尔滨工业大学工学硕士学位论文 哈尔滨工业大学工学硕士学位论文 摘 要 随着数据库中数据量越来越大，性能问题变成前所未有的重要。列式数据 库以加载速度快、只读取相关属性列、高压缩比等特点在数据分析领域得到广 泛的应用。但列式数据库的存储方式又导致其在进行多维度查询等操作中必须 用到多列数据的连接构成输出元组，即元组的重构。元组的重构是列式数据库 中最耗时的步骤，因此，元组的重构一直是列式数据库研究的热门话题。 部分边路划分（Partial Sideways Cracking）作为一种列式数据库的自组织 的元组重构方式，不但具有调整代价小的特点，而且根据工作负载进行持续增 量的自我调整的特点能很好的满足日益复杂多变的工作环境。但是现有的边路 划分仅仅是盲目的根据查询范围对数据库进行调整，这种盲目的调整往往需要 付出较高的调整代价，但效果却不是很理想。本课题基于部分边路划分提出了 SR 部分边路划分（Sorted Robust Partial Sideways Cracking），使得自组织元组重 构不但更具有鲁棒性、节省内存，而且进一步提高了自组织元组重构的速度。 本课题主要完成的工作有以下几个方面： （1）研究和分析了部分边路划分在自组织元组重构所遇到的问题，并通过 实验分析了部分边路划分在不同工作负载下所产生的鲁棒性问题以及对齐操作 的代价问题； （2）基于部分边路划分，针对部分边路划分分析所遇到的鲁棒性问题和对 齐操作代价问题，提出了 SR 部分边路划分技术，并通过实验证明了其鲁棒性 以及算法优越性； （3）实现了一个基于 SR 部分边路划分的范围查询数据库系统，为以后的 基于 SR 部分边路划分研究奠定了基础。 关键词：列式数据库；自组织元组重构；部分边路划分；范围查询 - I - Abstract With the increasing amount of data in the database, performance issues become more important than ever. Because column-oriented database loads data faster, only read the relevant attributes, has a high compression ratio, it has been widely used in the field of data analysis. However, it must involve connections of more than one column for constitution of the output tuple, which is called tuple reconstruction because of storage model of column-oriented database. The tuple reconstruction is the most time-consuming step in the column-oriented database operations. Therefore, reconstruction of the tuple has been one of the hot topics in the field of column-oriented database. As a self-organizing tuple reconstruction method, partial sideways cracking has a low adjustment cost