集群监控系统中内存数据库的设计与应用研究-计算机应用技术专业论文.docxVIP

摘要摘要 摘要 摘要 自上世纪80年代以来，内存数据库相关技术飞速发展并且得到了越来越多 的研究和关注。目前应用程序的规模和复杂度不断增加，尤其是大量Web应用 的产生和发展，应用系统对于为其提供数据存储功能的数据库系统提出了更高的 性能要求。传统的数据库系统是基于磁盘文件进行数据管理的，大量的内外存I／O 开销严重影响了系统的整体性能，已经逐渐无法满足日益提高的性能要求。随着 半导体价格大幅下跌，利用大量内存来实现内存数据库已经成为可能。由于使用 内存作为主要存储介质，避免了内外存交换的大量开销，内存数据库的访问性能 远远高于磁盘数据库，为支撑高性能系统提供了新的思路和方案。但是内存数据 库由于储存介质的变化，使其在结构、特性和设计实现等诸方面都不同于传统的 磁盘数据库，需要针对内存特点重新考虑和研究。在高并发集群监控系统中，一 方面，部分数据的增删操作十分频繁，而传统的内存数据库空间管理方法(数组 式、区段式、链表式等)在空间申请和回收上有较高的运行开销，在频繁的数据 增删请求下，会影响系统的整体性能；另一方面从整体上看，该系统中数据的修 改操作数量远小于读取操作的数量，传统的封锁机制要么粒度太粗(如数据库级 锁)影响并发度，要么粒度太细(如记录级锁)产生了过高的锁开销和并发控制 代价，也会影响到系统的整体表现。 本文通过介绍内存数据库的发展、特点、相关概念以及技术，并且结合本人 实际项目经验，从内存数据库的数据组织、查询技术与优化、并发控制、事务管 理和恢复技术等方面，介绍了一个可以用于高并发实时集群监控系统中的内存数 据库系统(LeopardDB)的设计与实现以及基于内存数据库的高并发集群监控系 统。根据高并发集群监控系统中部分数据增删频繁和修改／读取事务比例较小的 特点，利用内存空间资源动态平衡维护和双粒度锁转换机制，针对内存空间管理 和并发封锁机制分别进行了改进和优化，一方面使得空间资源的申请和回收可以 根据数据的使用情况进行自动的合理调整，另一方面允许多个读事务与单个写事 务并行操作提高事务吞吐率。通过实际项目中的测试，说明了该内存数据库高实 时性，高性能的特点。 关键字：内存数据库；集群监控；内存空间资源动态平衡；双粒度锁转换 中图分类号：TP392 Ab Ab stract Since the 80s of the last century,technologies of main memory database systems have been developing rapidly and receiving increasing attentions in research alld 咖dy．Applications growing in scales and complexities，especially web-based applications emerging widely in world．performance demands in back-end database systems are rising higher and higher．Since traditional databases manage dam file on hard drive disks，the high latency of disk I／0 operations impose significantly negauve efleets on overall performance of the whole system．Thus they have become increasingly inadequate tO meet the ever-increasing performance requirements·With the sharp fall in semiconductor prices，it has already become possible tO use large amount of memories to implement database systems(main memory database systems) instead of disks．By using memory as the main storage medium to avoid overheads caused by I／0 operations between internal and external storage devices，mam memory database systems significantly exceed the traditional disk-based database s