基于Spark的联机分析处理的研究-计算机软件与理论专业论文.docxVIP

独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽 我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过 的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意 识到本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国 家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大 学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存和汇编本学位论文。 保密□ ，在 年解密后适用本授权书。 本论文属于  不保密? （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 日 摘要 联机分析处理系统使决策者能对企业的历史数据进行多维分析，为企业发展做 出更好的决策。依托于分布式计算框架实现的关系型联机分析处理系统中，多表连 接是影响联机分析处理系统性能的关键因素。研究如何根据用户的使用习惯，重用 耗时的多表连接结果的方法，对关系型联机分析处理系统整体性能的提高，具有重 要意义。 在分析了基于分布式内存计算框架 Spark 的联机分析处理系统的设计要求的基 础上，通过对比现有联机分析处理系统的体系结构，给出了基于 Spark 的联机分析处 理系统的体系结构。该结构可以划分为应用层、驱动层、服务器层、计算层和存储 层；其主要的功能模块包括维度表处理模块、事实表处理模块和多维分析执行模块 等。 在多维分析处理方面，使用 Spark 处理维度表和事实表时都只读取与此次查询有 关的列，减少分布式计算框架 Spark 计算的数据总量；对维表进行按层次的编码处理， 通过将有层次信息的层次编码替换事实表的外键，生成有层次信息的编码事实表； 使用 Spark 可重用工作数据集的特性，将有层次信息的编码事实表缓存起来，使接下 来的多维分析可重用有层次信息的编码事实表，有效的减少了联机分析处理中的多 表连接操作。 对比实验表明，基于 Spark 的联机分析处理系统在连续执行涉及维度相同的多维 分析语句时，能够很好的重用维度表和事实表的连接结果，在整体执行效率方面与 基于 Hive 和基于 Spark SQL 的联机分析处理系统相比较有一定的提高。 关键词：联机分析处理，分布式，编码事实表，层次编码 Abstract Online analytical processing system help decision makers to handle multi-dimensional analysis of the historical enterprise data, so that they can make better decisions for enterprise development. Depending on the relational online analytical processing system of distributed computing framework multi-table joins are the key factors of Online Analytical Processing System Performance. Researching on how to reuse the results of multi- table joins according to the users habits, to improve the overall relational online analytical processing system performance is significant. Based on the analysis of the distributed computing framework Spark which is the memory online analytical processing system, and compare to other online analytical processing system architecture, an online analytical processing system based on Spark is introduced. . The architecture can be divided into the application layer, the driver layer,