网格环境下基于文件访问的负载平衡策略研究.docxVIP

网格环境下基于文件访问的负载平衡策略研究 网络包括计算网络、数据网络、网络和知识网络。要解决的共同问题是分布广泛、数量大的资源共享和计算。数据存储虚拟化是数据存储计算的基础，被称为网格存储。利用虚拟化技术和开放标准，分布、异构存储和数据集成可以为各种网格服务。网格存储有三个优点：更高的容错误和冗余，在负载波动中具有更好的性能和更低的成本。 负载平衡是优化网格存储性能的关键,因为它可以提高系统整体的吞吐率和服务加速比. 目前解决负载不均衡主要有两种方法:静态的数据分布优化技术和动态的负载平衡技术. 静态算法的固有缺点是数据分布预先确定,很难为动态数据访问提供负载平衡. 典型的动态负载平衡研究是文献中提出的磁盘冷却算法,随着系统负载的变化,负载在重载与轻载的单元间迁移,从而达到系统的负载平衡. 但该算法只是针对同构存储单元提出的,并且算法收敛时间长、负载调整的开销大. 针对以上不足,作者提出一种能实时反映存储单元负载压力的能量模型,并在此模型基础上综合考虑文件访问特点和存储单元性能差异,给出一种自适应的负载平衡策略. 实验结果表明,提出的负载平衡策略适合网格存储环境,提高了系统响应性能和系统吞吐率,减少了系统开销. 1 能量模型 1.1 访问频率及文件fi 不同文件的访问频度差异造成存储系统中各存储单元的负载不均衡. 采用能量这一概念来描述文件受访问情况和由此给存储系统带来的负载压力. 文件能量受以下几个因素影响: ① 与文件受访问的次数相关. 受访问次数越多,文件具有的能量越高. ② 与文件并发访问数相关. 并发访问数与当时系统平均并发访问数比值越高,文件具有的能量越高. ③ 与文件大小成正比. 文件越大,意味着文件受访问时间越长,文件具有的能量越高. ④ 文件能量随访问频度呈指数衰减. 类似于自然界中的放射性元素, 有相应的半衰期τc. 若将用户对存储系统的每一次访问都依次编号,ei(fi,t)为用户第t次访问存储系统时文件fi所具有的能量,α=2-1/τc为能量的衰减基数,则有: ① 如果在用户第t次访问前,文件fi从未被访问过,则ei(fi,t)=0. ② 如果在用户第t次访问时,访问文件fi,则ei(fi?t)=ei(fi,t-)+ρiˉρli. 其中t-为用户第t次访问之前的时间点;ρi为用户第t次访问时文件fi的并发访问数;ˉρ为用户第t次访问时存储系统的平均并发访问数;li为文件fi的长度. ③ 如果在用户第t1与t2次访问期间,没有发生对文件fi的访问,则ei(fi,t2)=ei(fi,t1)αt2-t1. ④ 如果在用户第t2次访问时,访问文件fi,且上次对文件fi的访问发生在第t1次,则 ei(fi,t2)=ei(fi,t1)αt2-t1+ρiˉρli. (1) 1.2 相对能量.带宽 存储单元的能量为其存储的所有文件的能量和,根据存储文件或文件分块的不同,存储单元拥有不同的能量. 但能量高低并不能直接反映其上的负载情况,因为网格环境中存储单元是异构的,各存储单元拥有不同的存储空间和访问带宽. 为了更加准确地描述存储单元当前的负载,引入相对能量. 相对能量主要受以下两个因素影响: ① 在具有同等能量的情况下,存储单元拥有的带宽Sj越大,意味着单位带宽分担的文件能量越低,其相对能量也越低; ② 如果存储单元当前可用存储空间Lj比系统当前平均可用存储空间ˉL大,则说明该存储单元接纳迁移文件的能力强,其相对能量越低. 用E(nj,t)表示t时刻存储单元nj所拥有的相对能量,则 E(nj,t)=wjSjˉLLj, (2) 式中wj为存储单元nj上所有文件或者文件分块拥有的能量和∑ei. 2 负载平衡策略 2.1 基于概率触发函数 当存储单元的负载超过一定数值时就会触发文件迁移操作,传统的触发函数如图1a所示,触发条件被设定成一固定阈值. 这种设置有一个缺点:存储系统的访问请求一般具有较大的倾斜性,在迁移触发函数被触发时,后续访问请求可能迅速使存储单元的负载情况恶化,进而导致存储系统性能降低. 作者提出的触发函数是一种适应异构存储系统、基于概率的触发函数(random early migration),式(3)为REM触发函数,函数形态如图1b所示,图中横坐标为一衡量存储单元负载的变量,纵坐标为文件迁移概率,用区间值表示. Ρj={0λ≤LminΡmaxλ-LminLmax-Lmin1λ≥Lmax,(λ∈{Lmin,Lmax})(3) λ=S′j/S, (4) S=minSjˉSˉSc?ˉS. (5) 式中:Sj为存储单元nj当前的可用下行带宽;S′j为存储单元nj总下行带宽;ˉS为存储系统当前平均可用下行带宽;ˉSc为存储系统拥有的平均下行带宽. 2.2 基于文件的迁移 为