分布式数据库中的副本恢复优化.pdf

摘要 随着社会的不停发展，不断地产生大量的数据。数据是一种极为有用的资源， 为了利用数据中的能量，需要设计好的数据库系统来存储大量的数据。同时为了 系统的高可用性，常常使用分布式数据库系统，这样能够可靠地进行负载均衡。 而网络的不稳定，系统的故障是不可避免的，为了防止数据的丢失，设计可靠、 高效率的数据恢复算法是非常必要的。 在分布式数据库系统中，为了使各个副本节点能够达成一致性，常常使用分 布式一致性算法来进行数据同步。本文通过使用Paxos 算法在各个副本节点之间 进行日志复制的操作，而由于Paxos 算法在日志同步的时候是允许副本节点存在 空洞日志的。在节点因为故障而导致的副本恢复的过程中，可以通过本地日志以 及和其它副本节点的交互来达到一致性恢复。本文的主要贡献如下： 1、分布式数据库系统之中，在出现高冲突日志项的场景下，本文设计优化 了Redo 日志项结构、日志文件结构。在日志复制的过程中，通过设计的缓存队 列和优化过后的Redo 日志项，在当前日志项中记录满足冲突条件的一部分日志 项索引。当节点进入数据恢复状态的时候，便可以利用这些日志文件来避免对一 部分空洞日志的补全操作。 2 、基于日志筛选的思想，研究在多副本环境中如何达成数据的一致性恢复。 利用日志回放技术，设计基于Paxos 的备节点恢复算法和主节点恢复算法。在日 志回放的过程中，通过重新设计后的日志项来避免对冗余日志项的重放步骤，减 少与其它副本节点的网络交互，因而减少了故障副本节点的数据恢复时间。 3、研究基于数据访问频度的副本并发恢复技术，由于影响数据恢复的主要 限制在于系统的I/O 次数。在副本宕机恢复的过程中，大部分消耗的时间集中在 日志页的读取，数据页的读取，以及数据页的落盘。通过设计基于数据访问频度 的恢复方法，在Redo 日志文件重放的过程中，避免Redo 日志项对应的数据页 的重复读取和落盘，减少了磁盘的输入与输出次数，因此提高了数据恢复效率。 同时设计并发的恢复策略，来加快数据的恢复。 最终，本文设计并且实现了一个多副本原型系统Paxos-replication ，并且实现 i 了以上的优化方案，进行了相关实验验证了恢复方法的有效性。当分布式数据库 的某个副本仅仅基于本地日志进行恢复的时候，在磁盘数据库原型系统 DB_SELT 中实现了优化方案，并且进行了实验来验证。 关键词：一致性恢复，高冲突日志项，日志复制，日志筛选，副本恢复 ii ABSTRACT With the continuous development of society, a large amount of data is continuously produced. Data is a very useful resource, in order to use the energy in the data, a good database system needs to be designed to store a large amount of data. At the same time, for the high availability of the system, a distributed database system is often used, which can reliably perform load balancing. However, network instability and system failure are inevitable. In order to prevent data loss, it is necessary to design a reliable and efficient data recovery algorithm. In a distributed database system, in order to achieve consistency among replica nodes, a distributed consistenc