基于SMP的内存数据库查询处理优化研究-通信与信息系统专业论文.docxVIP

摘要 内存数据库具有很多传统的数据库系统所不具备的优点，并且采用了与传统磁 盘库不同的，针对内存存储结构而设计的架构，使得内存数据库取得比磁盘数据库 高得多（10 倍以上）的数据处理能力。尽管内存数据库有较高的性能，但是面对日 益增长的数据处理量其性能也是捉襟见肘的。近年来随着对称多处理器的出现，内 存数据库继续提高性能的方案之一就是在多处理器平台实现查询并行化。 常见的并行化平台有共享内存型和共享磁盘性；基于共享内存平台的内存数据 库系统更适合用 OpenMP 进行并行编程优化。内存数据库查询并行化主要面临如下 几个挑战：并行优化流程问题，并发控制问题，并行程度确定问题，并发执行策略 问题等。对于各种查询并行化方式，包括查询间并行，查询内的操作间并行和操作 内并行，查询间并行无法提高复杂查询的响应性能，而操作间并行在操作数较少， 而且操作间耦合关系较大的情况下无法取得较好的性能提升，因此操作内并行优化 将成为内存数据库的查询事务内并行优化的主要手段。一次查询过程主要包括索引， 中间操作，结果集处理等，查询并行优化流程将针对查询过程中的 T 树索引，中间 操作，结果集处理等设计具体的并行化处理策略。对于并发控制问题，传统的 OpenMP 锁效率不够高，通过采用一种改进了的自旋锁，来扩展自旋锁的适用范围，可以很 好的取代 OpenMP 的锁，并对自旋锁的错误率进行理论分析验证其可行性；针对并 发程度确定问题，OpenMP 简单的采用了系统核心数作为并行度，在双核机器上这种 做法不失为一种简单可行的办法，简化了并行设计；对于并发执行策略，当前已有 许多针对并发执行操作的研究，包括对数据划分技术，并行排序，并行连接，并行 聚集函数运算等的研究，通过对现有研究成果的学习，可以将其实施在内存数据库 查询并行优化中。 通过仿真及测试对并行优化改进进行有效性分析，发现改进自旋锁比 OpenMP 的锁有较大的性能提升，而并行化的排序操作性能，以及结果集并行处理的性能均 有较大的提升。 关键词：内存数据库 查询 并行化 T 树索引 自旋锁 Abstract Main Memory Database(MMDB) has a lot of advantage comparing to traditional database, and it uses a different frame from what disk database does. As the frame is specially designed for main memory, the MMDB gets a much higher(10 times more) performance in dealing data than what disk database does. Though MMDB has a good performance, it’s not enough when facing huge of data dealing. With the appearance of SMP, one of the methods to enhancing the MMDB performance is to implement parallel query optimization. The parallel query optimization has face several challenges: parallel frame research and how to program on that frame, optimization of process issues in parallel, concurrency control, determine the extent of parallization and policy issues of concurrent execution. This paper puts forward one by one solution. We decide to choose OpenMP to implement parallel optimization after we researched the frame of MMDB and compared OpenMP and MPI. By way of comparison of various parallel query, including inter-query parallelism, inter-operation parallelism and inner-operation parallelism, finally select the in