纠删码分片验证技术研究.docVIP

纠删码分片验证技术研究 　　摘要:纠删码分片验证技术在拜占庭环境中非常重要。分析了现有的纠删码分片验证技术。基于同态指纹技术提出了一种新的验证方法。分析结果表明,新的方法具有更好的效率。 　　关键词:纠删码;同态指纹;指纹交叉校验和;延迟验证;拜占庭故障 　　 　　Research of the Verification Technology for Erasure-Coded Data 　　WANG Bao-lin1,2, YANG Ming1, ZHANG Yong-hui1 　　(1.Institute of Command Automation, PLA Univ. of Sci. Tech., Nanjing 210007, China; 2. The Unit 91004 of PLA, Dalian 116031, China) 　　Abstract: Verifing the erasure-coded data is important in Byzantine environment. This paper first analyses the existing verification technologies for erasure-coded data. Then it proposes a new approach based on the homomorphic fingerprint and lazy verification. Analysis result shows that the new approach is more efficiency than the existing approaches. 　　Key words: erasure code; homomorphic fingerprint; fingerprinted cross-checksum; lazy verification; byzantine fault 　　在信息化技术飞速发展的今天,计算机及网络技术得到迅速发展,现代企业和个人的数据信息量正在呈爆炸式的增长,数据作为在计算机系统内存在的形式越来越成为企业和个人最重要的财富。与此同时,人们也更加关注数据的可用性和可靠性。传统的增强可用性和可靠性的方式主要是完全复制技术。采用完全复制技术时,需要将数据做多个拷贝,然后将多个拷贝分发到多个不同的位置,这样能够提供很好的可用性和可靠性。但是,完全复制技术也有一个缺点:存储多个副本的空间开销太大。假定数据的大小用L表示,如果将数据采用k倍复制的话,那么总的存储开销将是k*L。为了降低存储的空间开销并增强系统的可用性,人们开始将纠删码技术应用于存储领域。以(m,n)纠删码技术为例,将需要存储的数据分成m个分片,然后通过编码生成n个分片,将这n个分片分发到多个不同的位置。在需要对数据进行恢复时,只需要任意m个分片,就可以恢复出原来的数据。使用(m,n)纠删码技术的存储开销是n*(L/m)。但是,纯粹的纠删码技术有一个假定:参与存储的客户端和服务器都是可信的。在客户端和服务器不可信的环境(如可能出现拜占庭故障)中,恶意的客户端可能向服务器写入“有毒”的(即数据分片不是对应于同一个原始数据)数据或不完整的数据;恶意的服务器可能篡改或删除存储其上的数据分片。为此,需要有一种技术向正确的客户端和服务器证明其所收到的数据分片是一致的,我们称这种技术为纠删码分片验证技术。 　　1 背景知识 　　1.1 现有的纠删码验证技术使用的数据结构 　　Krawczyk[1]提出了分布式指纹的概念,能够用于对数据分片进行验证。Krawczyk的方法使用了一种称之为交叉校验和(cross-checksum)的结构。交叉校验和的计算方式如下:使用纠删码将需要存储的数据编码成多个分片,然后针对每个分片,计算其hash值,再将这些计算出来的hash值链接起来形成交叉校验和。 　　Hendricks[2]等提出了同态指纹(homomorphic fingerprint)的概念,能够用于对每个数据分片独立地进行验证。它们的方法采用了一种称为指纹交叉检验和(fingerprinted cross-checksum)的结构。指纹交叉校验和由两个数组组成,一个数组存储的即为H. Krawczyk提出的交叉校验和,另一个数组存储的是同态指纹。1.2节将对同态指纹及其在纠删码中的应用进行介绍。 　　1.2 同态指纹及其在线性纠删码中的应用 　　同态指纹是一种具有特殊性质的指纹。为了给出同态指纹的定义,首先给出指纹的定义。为了表示的方便,令F表示一个具有“+”和“?q”有限域,Fqk表示一个阶为qk的有限域,其中q是一个素数。令t←TR