副本定位策略.docVIP

数据网格下的一种动态可扩展的副本定位方法 摘要：在数据网格环境下，副本机制的引入解决了诸如数据访问延迟、网络带宽的消耗等问题。而如何定位所需的副本则是至关重要的。本文提出了一种动态的、可扩展的副本定位方法，并且提出了一种动态均衡映射技术，根据信息节点的能力来分配全局动态副本信息，并具有转移信息对少，新节点能够很快根据自己能力负担任务的特点。分析表明，本方法具有可扩展性，可靠性及可行性。 关键字：数据网格 副本定位 信息节点 动态均衡映射 1 引言 数据网格[1]是随着对海量数据进行处理而出现的。数据网格的目标是使地理上广泛分布的团体能够共享数据资源，以完成对大规模海量数据集的复杂分析、处理任务。它通过开发能够集成网络上分布的多个数据集等资源，形成单一虚拟的数据访问、管理和处理环境，为用户屏蔽底层的物理资源，建立分布海量数据的一体化数据访问、存储、传输、管理与服务架构。 而这些数据经常存放在不同的存储系统中和不同的位置上，这让用户使用起来很不方便。所以，副本机制的引入可以带来减少数据访问延迟、减少网络带宽的消耗、提高可用性等优点。为了方便的访问数据，我们把网格中的各种类型的数据都抽象为数据元（Data Element，DE），每个数据元对应一个全局的逻辑文件名（Logical File Name，LFN），同一逻辑名的各个副本都有一个物理文件名（Physics File Name，PFN）与之对应。给定一个LFN，如何有效的定位所需的一个或多个PFN，这就是副本定位。 2 相关研究 近几年来，国内外的专家就副本定位进行了一些研究。SRB[2]是美国超级计算机中心提出并开发的一种数据网格管理技术，其副本定位采用集中的元数据服务器来进行的。Globus工具包[3]提供了副本管理服务来进行副本的定位，但是其采用的也是集中式的服务器进行管理的。集中的服务器带来了单点失效，扩展性不好等问题。Ripeanu和Foster提出了分布式的副本定位方法[5]，Globus 项目组和欧洲Data Grid[4] 项目组联合提出了Giggle[6]来提供副本定位服务；在Giggle 中，DSRL[7]，提出Home Node概念，利用动态映射技术完成副本的定位。Dong Su Nam等人提出的Tree based副本定位与选择相结合的机制TRLS[8]，，，，， 图1 逻辑结构图 3.2 动态均衡映射技术 3.2.1 定义 定义1 文件ID是标示逻辑文件名的唯一标示符。 定义2 H为一个确定性一致伪随机散列函数，它将文件ID一致的、均衡的映射到单位区间[0,1)中的某个实数。 定义3 信息节点i的权重（处理器能力、存储能力等）为Wi 定义4 信息对是某个信息节点上逻辑文件名与其对应的所有物理文件名的信息。 3.2.2 算法描述 动态均衡映射技术的基本思想是：对于每一个信息节点，创建一个区间链与之建立一一映射关系，区间链可以包括多个区间，映射到同一个区间链中的文件ID的信息分配到同一个信息节点上，全部区间链构成一个区间链表。初始时，根据信息节点的权重将单位区间[0 , 1) 分割成不同间隔距离的区间，H 确定其映射区间，，，，， ，，，, 假定初始系统中的信息节点数目为k ( k≥1 ) ,分别编号为0，1，2 ，…， k–1。对任意的i (0≤ i≤ k - 1)， ， 令a-1 = 0，则得到实数序列如下：0 = a-1 a0 a1 a2 ? ak - 1 = 1.从而得到一系列的区间di = [ ai - 1 , ai ) ( 0≤i≤k - 1)。构造初始区间链表L0 = { l0 , ?, lk - 1 , ?, lN } ,其中,（? 表示空集,N 为存储系统可能的最大节点数目）。 2、增加信息节点时，链表的变化 由区间链表L i 定义知道第k 个以后的区间链包含的区间为空集, 所以当前系统增加的下一个信息节点为第k + 1 信息节点,编号为k ,相应的权重为wk 。对任意的区间链lj , 遍历其包含的所有区间dj1 ,dj2 ，…,直到得到一个区间集合Dj (如需要,可以分割其中的区间) , 使得该区间集合的区间长度和为， 保留这些区间在区间链lj中,而将lj 中的其它区间迁移到区间链l k 中, 从而得到区间链表L i + 1 = { l0 , ?, lk , ?, lN } ,其中。 删除信息节点时，链表的变化 假定当前系统减少一个编号为z 的信息节点 ( 0 ≤z ≤k - 1)。 对区间链lz ,令其区间集合的区间长度和 ,遍历其包含的所有区间dz1 , dz2 , ?,直到得到k - 1 个区间集合Dj (如需要,可以分割其中的区间) ,使得对任意的j ,若0 ≤j z , 则区间集合Dj的区间