分布式内存数据库存储分析-计算机应用技术专业论文.docx

华 华 中 科 技 大 学 硕 士 学 位 论 文 PAGE 10 PAGE 10 1 绪论 1.1 课题研究背景 内存数据库的研究起源于 20 世纪 80 年代，相对于传统的磁盘数据库，内存数据 库可以提供更短的事务响应时间和更大的事务吞吐量。适用于有一定实时性要求的 业务应用[1]。 目前在电力行业中，内存数据库已经得到了广泛的应用[2]。例如在有较高实时性 要求的电网监控自动化系统中，内存数据库往往作为前端数据库的角色出现，处理 和存储短时间段内的实时数据，从而有效的提高了系统对实时数据库的处理速度； 但由于内存数据库容量有限，大量的业务应用仍然由后台的磁盘数据库负责[3]。 随着近些年来智能电网的空前发展，传统电网的不足逐渐凸显，相对于传统的电 网，智能电网有如下一些特点。如表 1-1 所示。 表 1-1 智能电网与传统电网的对比 对比项目 智能电网 传统电网 通信 电网与用户采用双向通信，二者可 以进行实时的信息交互 单向通信，只有电网向用户单向传达 信息 监测 采用双向通信的智能固态表计 监测表计单向向电网发送数据 自愈 较强的自愈能力，有效抵御故障与 攻击，自适应分布式控制 较弱的自愈能力，仅仅依靠设备的冗 余 分布 供电网络为网状 供电网络为辐射状 从表中可以看出，智能电网中有更多的双向通信，这就意味着系统接收到的读写 请求会更多，系统同一时间需要处理的事务量增大，系统的整体并发性需要提高。 同时由于智能电网要求有较强的自愈能力，因此需要更多的控制数据及实时数据的 支持，并需要在短时间内完成对故障或攻击的捕捉，并根据实时状态重新分布电力， 避免供电系统的中断。 传统的电网利用内存数据库虽然在一定程度上提高了系统的实时响应速度与并 发量，但是对于智能电网海量的实时采集数据与实时监控数据[3]，内存数据库仅仅作 为前端缓存已经无法满足更多的实时应用需求，而应该承担系统中更多的业务服务。 而集中式的内存数据库面对智能电网海量的实时数据库与实时应用，存在以下一 些问题与不足： （1）容量。集中式的内存数据库容量相对磁盘依然十分有限。根据目前的市场 调查，仅有 IBM 与 HP 公司推出了可以支持 1TB 内存容量的服务器，并且价格昂贵， 而市场上服务器可支持的平均最大内存容量约为 256GB。 （2）并发。通过对目前市场上内存数据库的调研与测试，集中式内存数据库的 并发查询量约为每秒 40000 次。而智能电网面向的是所有的用电客户以及智能终端， 因此百万级的查询并发性能应该是基本的要求，而单机所提供的并发量是十分有限 的。 （3）扩展性。由于我国的智能电网还在发展阶段，因此不断会有新的用户与终 端加入系统。面对海量的不断增长的业务数据，集中式内存数据库只能通过静态增 加物理内存的方式来扩充系统容量，但鉴于智能电网实时性的要求与单机内存容量 的限制，这种扩充容量的方式显然并不合适。 因此，为了同时保留内存数据库高效的数据处理能力，并增加系统的内存容量， 并发性能与良好的扩展性，本文给出了基于分布式内存文件系统的分布式内存数据 库系统，其功能结构如图 1-1 所示。 用户客户端 智能终端 分布式内存数据库 数据交互 单向导入 历史数据库 图 1-1 分布式内存数据库的功能位置 如图 1-1 所示，分布式内存数据库提供与用户与智能终端的快速数据交互功能， 对于非实时数据，会将数据定期导入后台的历史数据库，历史数据库同样提供对历 史数据的查询与统计。整个分布式内存数据库系统可以带来以下一些优势： （1）数据库扩展性增强。随着实时业务数据量的不断增加，系统可以不必再重 启服务器来扩展容量，而只需要动态得向系统中增加新的存储节点，然后由系统重 新均衡各节点负载。 （2）数据并行处理及并行查询的能力增强。采用分布式后，不同范围的记录由 于存储在不同节点上，并行查询和并行处理的性能将得到提升。表内并行化的查询 也能得以实现。 （3）数据可靠性加强。分布式数据库中采用多副本机制，每一条数据记录的副 本都会存储在 N 个不同的节点中，当某个节点失效时，并不会丢失其中的任何一条 数据。同时各节点也有恢复备份的机制来保证数据的可靠性。 （4）良好的负载均衡。由于系统划分为两层松耦合架构，下层的分布式内存文 件系统采用文件分块的方式实现内存中关系数据的在各节点上的负载均衡，降低了 传统分布式系统中分片分布策略容易引起节点数据倾斜的可能。 1.2 分布式内存数据库研究现状 1.2.1 国外研究现状 对于内存数据库的研究是最近二三十年时间内开始的，因此对于分布式内存数据 库的研究时间并不长。从现有的中英文文献可以查找到最早分布式内存数据库研究 的雏形是始于 1986 年的 PRISMADB 项目[4]。 PRISMADB 是一个完全并