分布式存储系统(OceanStore)的复制策略.pdfVIP

分布式存储系统（OceanStore ）的复制策略 姜大光，奚嘉鹏 北京化工大学信息科学与技术学院，北京（100029 ） E-mail ：jiangdg@ 摘 要：OceanStore 项目是Internet 上基于P2P 结构的分布存储应用，目标是向用户提供强持久 性、高可用性、可扩展性和安全性的服务。它的整个复制策略分为两个大的方面:Erasure coding 和Replication ，一份数据同时用Erasure coding 和Replication 实现，Erasure coding 主要保证数 据的持久性，Replication 主要是为了保证用户的访问速度。 关键词：OceanStore ，分布存储，P2P ，复制策略，Tapestry ，分布式哈希表 中图分类号：TP301 文献标识码：A P2P[1]( peer-to-peer)技术能够有效实现对网络上数量巨大的资源进行有效管理和充分利用， 与传统的Client/Server计算模式不同，它没有服务器和客户机之分，每个结点都是一个对等体 (peer)，它们之间直接交换共享的计算、存储、信息等资源和服务。 [2] OceanStore 是一个广域的P2P 网络文件存储系统，P2P 存储系统的基本目标是帮助用户 把数据分布到广域网的多个结点上，并且保证数据的完整性、一致性、可靠性和可用性。与传 统的基于集群或者局域网的分布式存储系统相比，P2P 分布式存储系统具有以下优势： （1）存储容量更大。 P2P 存储系统中的一个存储结点既可以是一般的个人用户的PC 机，也可以是基于集群的 大型存储设备。 （2 ）可靠性、可用性更高。 P2P 存储系统在整个Internet 中搭建，数据在全球范围内分布，系统可以通过在广域网范 围内进行数据冗余管理增强数据的可靠性和可用性。 （3 ）分布式访问效率更高。 数据在全球范围分布的另一个好处是当数据有多备份时可以就近访问，对于一些经常处于 移动中的用户这一点尤为重要。 1. 分布存储中复制策略的分析 [3] 复制策略 总体来说是决定一个数据对象(object) 同时应该拥有几个副本以及这些副本怎 样在Internet上进行分布才能提供高的性能和有效的管理: 数据复制作为分布存储系统的一个重要方面，必须解决两个基本问题:首先是性能，其次是 管理的有效性。在没计一个复制策略时，必需考虑以下几个问题: （1）复制算法的设计。复制算法是任何一个复制服务的核心，它对数据副本的读取和更新 都有及其关键的影响，从根本上决定了一个系统的性能和管理的有效性。 （2 ）一个数据对象需要维护的副本数。较少的副本易于管理，但是不能满足用户的访问速 度需求，过多的副本则会给系统的管理带来很大的复杂性，因此，副本的数量必须保持合适， 在访问速度和系统可控性方面达到平衡。 （3 ）数据多版本问题。有些数据需要维护一定数量的历史记录，这就要求开发的系统能够 支持多版本。 - 1 - （4 ）数据更新问题。一个数据对象有多个副本，更新时，首先需要考虑采用什么组通信技 术，其次需要考虑采用哪种更新信息。 （5 ）数据一致性程度。这包括强一致性和弱一致性。强一致性要求所有副本同步更新，会 降低数据的可用性和访问速度；弱一致性则允许非同步更新，会产生一些过期的数据。 （6 ）用户应用需求。网络上的应用侧重点各有不同(如访问速度，数据的多版本支持和读 写频率) ，开发具体的分布式存储系统时需要综合考虑这些因素，满足不同的用户需求。 2. 利用Tapestry 构建虚拟网络 系统中的副本结点是T