基于多核CPU的数据立方体并行计算方法研究-计算机科学与技术专业论文.docxVIP

万方数据 万方数据 Classified Index: TP311.131 U.D.C: 618.3 Dissertation for the Master Degree in Engineering RESEARCH ON PARALLELLED DATA CUBE COMPUTING METHOD BASED ON MULTI-CORE CPU Candidate： Jingwei Liang Supervisor： Prof. Yunming Ye Academic Degree Applied for： Master of Engineering Speciality： Computer Science and Technology Affiliation： Shenzhen Graduate School Date of Defence： December, 2013 Degree-Conferring-Institution： Harbin Institute of Technology 哈尔滨工业大学工学硕士学位论文 哈尔滨工业大学工学硕士学位论文 摘 要 随着大数据时代的到来，联机分析处理领域也面临大数据的严峻挑战。联 机分析处理以多维分析为基础，根据用户需求构造数据立方体，对数据立方体 进行处理加工后将结果展示给用户。数据立方体的计算在联机分析处理领域一 直是研究的热点，在数据量不断增多，维度不断增加的情况下，传统的数据立 方体的计算遇到严重瓶颈——难以在有限的时间内完成高维度、大数据量的数 据立方体的计算。 随着近年来多核 CPU 的普及和应用以及内存容量的不断增长，如何建立基 于内存的数据结构并高效利用多核 CPU 的并发处理能力来处理海量高维度的 数据立方体成为研究的热点。本文提出了基于内存的立方体树数据结构模型， 提出了基于多核 CPU 的多线程高维立方体生成低维立方体的算法，加快了立方 体的生成速度。 针对数据立方体的生成问题，本文的主要研究内容如下： （1）对数据立方体的基础知识和数据立方体聚集运算中聚集函数的分类以 及基于数据立方体的基本操作进行了总结，对一些经典的数据立方体进行了描 述； （2）深入讨论了统计树以及基于统计树的算法，针对其占用存储空间较大 的缺点提出了立方体树存储结构，以及利用多核 CPU 并行创建立方体树的算法； （3）提出了基于立方体树存储模型的高维立方体生成低维立方体的断层重 排算法，并基于多核 CPU 对该算法进行了并行化实现，并通过实验证明了该算 法的高效性。 关键词：数据立方体；立方体树；并行处理；多核 CPU - I- Abstract With the era of big data, the fields of online analytical processing of large data are also facing serious challenges. Online analytical processing based on multi-dimensional analysis constructs data cube and presents it to users after processing. Data cube calculation has been a research focus in the fields of online analytical processing. With the dimensions and data size increasing, the traditional data cube calculation experience severe bottlenecks that it is difficult to generate the data cube with high dimensions and large amount of data. With the recent popularization and application of multi-core CPU and memory capacity continues to grow, how to create a memory-based data structure and efficiently use the concurrent multi-core CPU processing power to handle massive high-dimensional data cube becomes a research hotspot. This paper presents a memory-based cube t