异构存储系统的文件迁移策略研究.docxVIP

异构存储系统的文件迁移策略研究 现有的文件偏移策略通常分为长期决策方法和短期决策方法。长期决策方法根据文件访问的历史数据和用户行为的历史统计获得文件访问模式，然后精确测量未来的文件访问速度，并进行文件偏移决策。在长期决策中，许多采用了mart决策模型或半mart决策模型。如果在实际系统中完全采用这些决策模型，由于巨大的状态空间，计算的复杂性将是非常复杂的。短期决策方法基于服务器现状、扇区利用率和cpu使用参数来进行文件偏移决策。这具有很强的适应性系统变化的能力。 短期决策模型在动态负载平衡中起着关键作用, 它对实时性要求很高, 所以对设计代价小、执行快的算法尤为重要.文献提出的磁盘冷却算法是比较典型的短期决策算法.但它是针对同构单元提出的,负载平衡调整慢且调整开销大. 本文介绍一种基于能量的文件迁移策略,综合考虑文件、存储单元两方面的因素来决定文件的存放位置,平衡各存储单元的负载压力,保证异构存储系统的性能能够得到充分的发挥. 1 能量模型 1.1 文件能量的衰减 负载平衡中很重要的一点就是考虑由于文件访问造成的负载差异.本文提出一个对文件访问频度和大小敏感的能量模型,采用能量这一概念来描述文件访问给存储系统带来的负载压力.文件能量主要受下面这几个因素影响: 1) 和访问的次数成正比.访问次数越多,文件所具有的能量越高. 2) 和并发访问情况成正比.并发访问数相对于当时系统平均并发访问数比值越高,文件所具有的能量就越高. 3) 和文件大小成正比.文件越大,意味着访问文件需要消耗的带宽越大,文件具有的能量也就越高. 4) 随频度呈指数衰减.类似于自然界中的放射性元素, 有相应的半衰期τc.对存储系统发生的每一次访问都依次编号,用e(fi,t)来表示存储系统在发生第t次访问的时候文件fi所具有的能量,α=2-1τc表示能量的衰减基数: ① 如果在发生第t次访问以前,文件fi从未被访问过,则e(fi,t)=0. ② 如果存储系统在第t次访问时访问文件fi,则 e(fi,t)=e(fi,t_)+ρiˉρ?li 其中,t_表示第t次访问之前,是个极限概念;ρi表示存储系统在发生第t次访问时,文件fi的并发访问数;ˉρ表示存储系统在发生第t次访问时的平均并发数;li表示文件fi的长度. ③ 如果存储系统在t1和t2之间没有对文件fi的访问,那么e(fi,t2)=e(fi,t1)·αt2-t1. ④ 如果存储系统在发生第t2次访问时访问文件fi,且上次对文件fi的访问发生在t1,那么 e(fi,t2)=e(fi,t1)?αt2-t1+ρiˉρ?li(1) 上式可以由式(2)和式(3)推出. 1.2 系统负载的描述 每一存储单元根据其存储文件或者文件分块拥有不同的能量,但其能量高低并不能直接反映存储单元的负载.因为存储单元是异构的,各个存储单元拥有的存储空间和访问带宽各不相同.为了描述异构存储单元的负载,本文引入相对能量. 用e(nj,t)来表示t时刻存储单元nj所拥有的相对能量: e(nj,t)=wjSj?ˉLLj(2) 其中,wj=Σe,表示存储单元nj上文件或者文件分块拥有能量的加和;Lj为存储单元j当前可用存储空间;ˉL表示系统当前平均可用空间;Sj为存储单元j的可用带宽. 2 文件重复使用策略 2.1 迁移触发函数 传统的触发函数如图1a所示,触发条件往往被设定成一个阈值,当负载超过这个阈值就触发迁移操作.但这种设置对存储系统而言有一个缺点:存储系统的访问请求一般具有较大的倾斜性,在迁移触发函数被触发的时候,后续访问请求可能迅速恶化存储单元的负载情况,进而导致存储系统性能降低.本文提出的迁移触发函数是一种适应异构存储系统、基于概率的触发函数REM(Random Early Migration),式(3)为REM触发函数,函数形态如图1b所示,通过设置Lmax,Lmin(LminLmax)来衡量存储单元负载. pi={0Si′≤S?Lminpmax?Si′-S?LminS?(Lmax-Lmin)Si′∈(Lmin?Lmax)?S1Si′≥S?Lmax(3) 其中,pi为迁移概率;Si′表示i存储单元的当前可用下行带宽;S表示存储单元i的负载水平,由式(4)得到: S=min(Si?ˉSˉSc,ˉS)(4) 其中,ˉS表示存储系统当前平均可用下行带宽;ˉSc表示存储系统拥有的平均下行带宽;Si表示i存储单元拥有的下行带宽. 2.2 基于迁移单元的带宽分配算法 传统的文件动态迁移策略,如磁盘冷却算法,会根据负载情况选取负载最重的文件从很忙的设备读出,写入较空闲的设备.不是基于当前请求的,负载平衡时在一定程度上加重了设备的负载.本文提出的文件迁移策略兼顾以下策略: 1) 迁移工作以数据块为单位进行.存储系统存储的文件以固定大小分割为若干独