多核环境下内存数据库查询优化的研究-通信与信息系统专业论文.docxVIP

华 华 中 科 技 大 学 硕 士 学 位 论 文 I I 摘 要 目前，随着信息化的逐渐普及，通信、金融、电力等领域对实时数据处理和查 询的需求逐渐提高，催生了支持实时性的数据库诞生。内存容量的增加和成本的降 低使得基于内存的数据库成为可能。在内存库的应用过程中，每天都有大量的实时 数据需要处理，磁盘数据库无法完成该项任务，内存数据库凭借其在内存中处理数 据的优势越来越成为实时数据处理的主流。而内存数据库需要面临和磁盘数据库一 样的难题：数据的查询。在内存库应用于高性能服务器端时，内存数据库管理系统 在短时间内将接受大量的查询语句，这给内存数据库的查询业务带来了极大的挑战。 在海量实时数据的查询过程中，查询效率的好坏很大程度上决定了内存数据库的性 能，因此对内存数据库 SQL 语句的查询优化成为迫在眉睫的研究课题。本文的目标 就是研究当前数据库 SQL 语句的查询优化技术并结合内存数据库的特性，设计一套 适合于内存数据库查询优化引擎，以满足当前内存库应用过程中海量实时数据快速 查询的需求。同时提出了本文要解决的问题：在内存数据库中为 SQL 语句的查询设 计执行方案，使得该方案在尽量短的时间完成语句的查询任务。 通过对多核环境下语句查询问题的深入分析、研究并结合现有的自主开发的内 存数据库，设计了一套适合于内存库在多核环境下并发执行的 SQL 语句优化模块， 包括优化策略空间的设计和最优执行计划的提出。该方案综合应用了当前数据库对 于 SQL 语句优化前调整的主流规则，并将 SQL 语句的优化策略空间以图的形式表示， 最后根据本文提出的搜索算法在图中搜索该 SQL 语句的最优执行计划。为验证该 SQL 语句优化方案的可行性，将得到的最终的优化方案与普通执行方案进行仿真测 试比较。测试结果显示，采用该 SQL 语句的优化方案，在对海量实时数据查询过程 中，SQL 语句的查询优化性能得到明显提高。 关键词：内存数据库；查询优化；启发式优化；代价优化；搜索策略 II II Abstract At present, with the increase popularity of information technology, handling the real-time data collected on-site and the demand for query processing of the real-time data growing highly, result in the birth of supporting high-performance real-time database. The increasing of memory capacity and reduction cost as well as the emergence of multi-core CPU make high-performance memory-based real-time database possibly. In the memory database, a large number of real-time data need to be dealt with every day, the disk-base database is unable to complete the task. Relying on the advantage of processing real-time data in memory, memory database becomes the mainstream of real-time data processing system. But the memory database also needs to face the same problem as the disk database has being up against with: data querying. In the processing of MMDB, the system may receive thousands of query objects at the same time, this is a great challenge to the memory database. Up to in-depth analysis of SQL statement query in multi-core environment, and combined with the independent development memory database, giving the optimization strateg