移动环境下一种基于日志的数据复制方法.pdfVIP

移动环境下一种基于日志的数据复制方法 马隆 林怀忠 陈纯 （浙江大学计算机学院，杭州 310027） 摘 要：乐观复制方法被广泛应用于移动环境中，本文提出 了一种新的基于日志的数据复制方法，该方 法使用相对较小的通讯和存储开销，更有效的记录数据更新以及进行数据同步，和传统的方法比，该方 法更适用于小型的数据记录。 关键词：乐观复制 数据集 日志域 状态向量 1 引言 乐观复制的基本思想是系统中的多个节点中 2.2 基于日志记录的体系结构 的数据副本都可以进行独立的更新，这些更新会通 与为每个数据项维护一个单一的元数据不同， 过同步协议传播到系统中的其他副本，经过同步后 基于日志的记录方法为所有数据的修改采用统一 达到最终的一致。这种思想在移动环境下特别适 的记录结构，所以，在这种结构下，用于记录数据 用，因为在不同的数据副本之间的连接都是不稳定 改变的开销是取决于数据项的修改频率和数据同 的，如果使用传统的 C/S 结构，那么服务器在大多 步的频率，而与单个数据项的大小，数据项的数量 数时间里可能是无法连接的，而通过分散数据副本 还有副本的数量是无关的，因此，这种结构特别适 可以使数据复制的时候可以获得更多的可能连接， 合在需要处理大量的小型数据的系统中使用。 当然可用性更强。 在请求数据同步更新是，节点 A 发送当前节 在乐观复制中，数据同步是通过在不同副本之 点状态给节点 B ，节点 B 可以通过 A 的状态来推 间交换数据的修改记录实现的，本文介绍了一种新 测 A 需要的那部分日志，并且把它们发送给 A 。 的对数据修改的记录方式和记录的管理方法，并在 所以，在基于日志的同步中，移动节点之间数据通 此基础上提出了一种数据同步的方法，用这套协议 讯的需求是关于数据更新的次数线形增长的。 可以更高效的在不同节点上的数据副本之间进行 我们选用基于日志的实现正是看中了它在数 数据同步，并且可以有效的节约日志占用的空间。 据同步中的高效以及可能会节省大量的存储空间 这两个优点，而我们对日志的组织方式将会使数据 2 相关研究 同步更加灵活和易于实现。 2.1 使用元数据记录的体系结构 这是一种传统的记录方式，它为每个数据项维 3 基于日志的高效数据复制体系结构 护一个单独的元数据记录，在这种情况下，每个数 3.1 数据模型和数据操作 据项都可以独立的与其他副本之间的相应数据进 在我们的模型中，本地的副本知道自己当前的 行同步。只要比较同一数据项在多个副本中的元数 版本状态，数据集合由多个（key ，value ）二元组 据，就可以检测出是否有数据冲突，但是，这种方 组成，这在嵌入式环境下一种常见的的数据模型 法的主要缺点是它为每个数据项增加了一个不定 （berkeley db 就采用这种数据模型），key 在数据集 长度的存储空间，这个额外的消耗是和副本的数量 里是一组数据的唯一标识：一个或者多个不同的 直接相关的，而和数据修改的频率无关。在数据同 value 可以和一个 key 相关联。 步时，一个在客户端的副本请求服务器端完整的元 我们同时定义对数据集进行的三种操作： 数据，然后和自己的元数据进行比较并推测出哪些 add key, value , 为 key 增加一个值 数据应该修改，创建或者删除。可以想象，在一个 remove key, value ，从key 对应的值中删 比较大的数据集合中，如果数据仅有很少的修改， 除给定的值 或者数据项的大小甚至小于它们元数据的大小时， set key, value ，删除所有与key 对应的值， 这种传送整个元数据的方法是非常低效率的。 然后用给定的值替换它们 -1- 如果对一个数据项执行两次相同 的 add ， 状态向量在数据同步中扮演着非常重要的角 remove 或者 set 操作，那么第二次操作将不会产生 色。 任何影响。 3.3 数据同步 数据集可以看做一个简化的数据库系统， 在两个节点之间进行数据同步时，调和协议会 key, value 二元组就可以看做数据库中的单个记 争取选取尽可能少的更新信息用于交换，例如现在 录，改变数据库中的数据记录可以对等的用 set 操 节点 A 和节点 B 之间进行数据同步，当前 A 和 B 作来实现，相应的，删除旧数据记录和增加新的数 的状态如图 1。 据记录可以用 add 和 remove 来模拟。 节点A的日志 3.2 数据更新的日志记录方法 状态向量 当对数据集进行各种操作时，相应的日志也会 节点id A B A C A 节点 A B C 状态 1 1 2 1 3 状态 3 1 1 并行的写入 log 中，log 是由如下格式的