内存数据库在分布式系统中应用.docVIP

内存数据库在分布式系统中应用摘要：本文通过对内存数据库的体系结构、数据存储、数据组织与事务管理等进行分析，提出了内存数据库在分布式系统中的应用案例。此方案用于解决海量数据、高并发系统的数据存储和访问问题，尤其适用于数据模型和业务规则复杂的大型互联网应用 关键词：内存数据库；分布式系统；网站群CMS；数据持久层 中图分类号：TP311.13 文献标识码：A 文章编号：1007-9599 (2011) 23-0000-02 Memory Database Applications in Distributed System You Liang (Gansu Wanwei Information Technology Co.,Ltd.,Lanzhou 730000,China) Abstract:Based on the memory database architecture,data storage,data organization and analysis of transaction management,etc.,made in memory database applications in a distributed system case.This program is used to solve the mass data,highly concurrent systems of data storage and access problems,especially for complex data models and business rules of large-scale Internet applications. Keywords:Memory databases;Distributed system;Web base CMS;Data persistence layer 引言：2011年在主持研发公司网站群CMS V2.0产品（该产品是为网站群构建与管理提供技术支撑的平台，解决了门户网站集群的独立权限下的数据共享，提供了大型同构门户网站群分布式部署的解决方案和异构网站信息聚合的解决方案。）期间，由于在产品研发的中后期通过对前台web站点进行大用户、高并发压力测试过程中发现系统性能始终达不到前期设计要求，急需对系统架构进行调整优化。经过项目组反复认真的讨论最终决定采用内存数据库的方式以解决系统性能瓶颈，通过内存数据库选型、系统架构改造并借助自动化测试工具的大量调测，最终很好的解决了实际问题 一、内存数据库特点 近年来，随着计算机硬件技术的迅猛发展，内存容量不断提高，价格不断下跌，操作系统已经可以支持更大的地址空间（计算机进入了64位时代），同时对数据库系统实时响应能力要求日益提高，充分利用内存技术提升数据库性能成为一个热点 其实内存数据库并不是一项新兴技术，其出现于上世纪60年代末，随着市场需求的不断增大在90年代后期开始得到快速发展。其原理就是将数据放在内存中直接操作的数据库。相对于磁盘，内存的数据读写速度要高出几个数量级，将数据保存在内存中相比从磁盘上访问能够极大地提高应用的性能。同时，内存数据库系统带来的优越性能不仅仅在于对内存读写比对磁盘读写快上，更重要的是，从根本上抛弃了磁盘数据管理的许多传统方式，基于全部数据都在内存中管理进行了新的体系结构的设计，并且在数据缓存、快速算法、并行操作方面也进行了相应的改进，从而使数据处理速度一般比传统数据库的数据处理速度快很多，一般都在10倍以上，理想情况甚至可以达到1000倍 内存数据库的另外一个重要特点是可以对内存中的数据实现全事务处理，相比仅仅把数据以数组等形式放在内存中是完全不同的。并且，内存数据库是与应用无关的，显然这种体系结构具有其合理性。内存引擎可以实现的查询与存档功能与磁盘数据库的使用完全相同，同时内存表与磁盘表也使用的是完全相同的存取方法。存储的选择，对于应用开发者而言是完全透明的 对于内存数据库而言，实现了数据在内存中的管理，而不仅仅是作为数据库的缓存。不同于其它将磁盘数据块缓存到主存中的数据库，内存数据库的内存引擎使用了为随机访问内存而特别设计的数据结构和算法，这种设计使其避免了因使用排序命令而经常破坏缓存数据库性能的问题。通过内存数据库，大大减少了磁盘I/O处理，因此能够达到以磁盘I/O为主的传统数据库无法与其相比拟的处理速度 二、内存数据库选型 常见的内存数据库产品包括商业版和开源免费版两类。商业版如：Oracle TimesTen、Altibase、Berkley DB等。他们在电信、金融、证券等高性能计算应用中运用较为广泛。商业版功能强大，然而，价格比较