网络环境下基于Erasure Codes高可靠性存储体系设计.docVIP

网络环境下基于Erasure Codes高可靠性存储体系设计 　　(西北工业大学 计算机学院 西安 710072) 　　 　　摘 要：设计了一种基于Erasure Codes的网络环境下的分布式文件存储系统。初步的实验结果证明这种存储体系可以较好地解决人们当前所面临的文件存储的可靠性、安全性等问题。 　　关键词：分布式存储；数据可靠性；数据安全性；纠错码；加罗华域 　　中图分类号：TP333.8文献标志码：A 　　文章编号：1001-3695(2009)05-1835-04 　　 　　Design of storage scheme with high reliabilitybased on Erasure Codes in environment of networks 　　JIA Jun??bo，GU Jian??hua，ZHU Jing??fei，ZHANG Ji??wei 　　(College of Computer Science Northwestern Polytechnical University Xi’an 710072 China) 　　Abstract:This paper provided a distributed storage scheme based on Erasure Codes in the environment of networks.Testing result proves that the scheme will ensure the high reliability and high security. 　　Key words:distributed storage；data reliability；data security；Erasure Codes；Galois field 　　 　　随着计算机的普及，人们逐渐习惯用计算机来处理各种信息，对计算机的依赖性也越来越强，伴随而来的是大量数据的产生。相对于以往的各种信息管理方式，信息的数字化存储具有容量大、易操作和可异地操作等特性。这种存储方式有着巨大的优越性，同时这种单机文件存储的方式也存在着极大的可靠性和安全性隐患。为了应对人们日益复杂的存储需求，人们提出基于网络的存储方式，将数据存放在远程分布的服务器上，这样可以极大地扩充文件的存储空间，同时便于数据的访问、管理及共享。很多组织一直致力于这方面的研究。Berkeley大学提出的OceanStore存储方案，是一种基于全球环境下的海量存储机制[1]；ESStore[2]描述了一种用于提高基于分布式hash表的结构化P2P 存储系统可靠性和可用性的机制。清华大学也提出了自己的Granary存储系统。但当前大部分的网络存储机制的研究和开发都是针对数据的海量存储和管理而提出的。本文针对在某些对文件的可靠性和安全性要求较高的领域（如国家科研院所），提出一种在网络环境下提高文件的可靠性和安全性的存储机制以及实现算法。?? 　　 　　1 系统构架?? 　　 　　该系统建立在网络环境下，基于可擦除码原理。其完成的主要功能如图1所示。网络中某个节点需要存储数据时，它在本地机器上将需要存储的信息进行分割编码以后，将子文件分布存储在其他可信任的机器上。当需要恢复文件时，该用户只需要回收少量（总量和原始文件相等）任意的子文件便可将原来文件恢复。在原文件恢复之前，任何子文件都处于不可用状态，并且原文件的恢复只授权于该文件用户。该系统主要分为文件的编码、数据存储、数据回收、解码四个过程，文件在本地节点的编码和解码将在第2章论述。下面介绍节点的交互?┕?程。???? 　　1.1 信息列表的构造?? 　　该系统整体为一个P2P构架，但是仍然存在服务器的概念。服务器在该系统中只做节点信息查询功能，不参与信息的传输和存储。服务器通过维护一个信息列表来显示系统中各节点的可用性信息。如图1，该信息列表的构造分为公有和私有两部分。公有部分供所有节点读写，每个用户又对应一个私有的信息列表；私有部分只有对应惟一的用户可以读写。?? 　　公有部分如图1的左边列表，存储了节点地址，可用性及空间大小三项内容。当某个节点加入到该系统时，向服务器注册其节点号或激活其可用性和所剩空间，表明该节点可用以及具体的可用空间大小。?? 　　每个节点用户对应一个私有部分，如图1的右边部分。私有部分只能通过用户验证来访问，每个用户只能访问自己的私有列表内容，其内容包括自己存储在其他节点上的存储信息标志和存储信息的节点地址两项内容（当服务器失效时，通过广播，重构信息列表，这里不再讨论）。?? 　　1.2 存储过程?? 　　当需要存储的数据在本地开始编码以后，随即开始与其他节点进行交互存储。数据