分布式内存数据库的设计与实现-软件工程专业论文.docx

摘 要 信息系统基于大数据量的数据采集与分析，需要数据库系统能够同时具备大 容量存储、实时性处理以及可扩展性的能力。传统的关系数据库在面对日益增多 的大量数据时暴露了很多问题，不能对其高效、实时的处理。对系统提出的新需 求，传统的关系数据库并不能很好的解决。 非关系型数据库是为弥补关系数据库的不足而产生的，Key-Value 数据库就 是非关系型数据库的一种。目前现有的 Key-Value 型内存数据库系统对于小数据 量的处理速率和实时性较好，但是对大数据量的处理能力还稍显不足，不能满足 当前系统的需求。 因此，本文通过分析用户需求，分析当前 Key-Value 型内存数据库的不足之 处，将分布式技术与内存数据库技术相结合，设计并实现了一种分布式内存数据 库。本文首先对系统架构与系统功能进行设计和论述。其次，详细设计并实现了 分布式管理节点中的分布式数组模块、消息包转发模块和内存数据库节点中的内 存资源管理模块、业务处理模块等主要模块。在解决分布式系统的数据分布问题 上，提出了一种用分布式数组来管理数据分布的方法。在解决系统数据索引的问 题上用哈希算法来实现。再次，对系统的功能和性能进行测试，并给出了测试结 果。最后，总结本文的不足之处和后续改进点。 关键词： 内存数据库 分布式技术 Key-Value 哈希算法 Abstract Information systems have the requirement of a large amount of data’s collection and analysis, which need the database system having the ability of large capacity storage, real-time processing and scalability. The traditional relational databases expose a lot of problems when it process a large amount of data, which can not process data efficiently. Therefore, the traditional relational database can not solve the new demands of the information system. Non-relational database compensate the shortage of a relational database. Existing Key-Value main memory database system have good ability of processing a small amount of data, but not good at processing a large amount of data, which can not meet the new demand of the current system. Therefore, we analyze user requirement, the shortage of current Key-Value main memory database and the technology of distributed system, implement a kind of distributed main memory database. Firstly, we design and describe the system architecture and functions. Secondly, we focus on the detailed design and implementation of the distribution array module, the message transfer module, main memory resource management modules and business processing module. In order to solve the problems of data distribution of distributed systems, we put forward a distribution array method with hash algorithm to solve the problems. Thirdly, test the functionality and performance of the system,