结构化对等络中访问热点引起的 负载均衡算法研究.ppt

结构化对等网络中访问热点引起的负载均衡算法研究 答辩内容 课题研究背景及意义 本文所做的工作 对比实验 总结与展望 课题研究背景及意义 什么是访问热点 访问热点产生的原因 课题的研究意义 什么是访问热点 访问热点就是网络中对某一节点瞬间产生大量的查询请求 ，被查询的节点成为访问热点，如下图所示，节点J为访问热点。 访问热点产生的原因 访问热点是由于对某些数据文档访问量的突然增加而产生的，因此产生访问热点的原因主要是： （1）查询请求的不均匀性 （2）访问的突发性 课题研究的意义 本文主要是针对访问热点引起的负载均衡算法进行研究，意义在于： (1)解决网络拥塞问题； (2)为用户提供更好的访问效率； (3)提高节点及其他资源的利用率； (4)避免网络关键部位出现单点失效。 本文主要工作 本文在对当前已有的负载均衡算法进行深入研究后，提出了三个负载均衡算法： （1）一种改进的基于复制技术的负载均衡算法 （2）基于时间序列的负载均衡算法 （3）基于查询率的主动式负载均衡算法 一种改进的基于复制技术的负载均衡算法 基于复制技术的负载均衡算法的缺点： （1）忽略了结点的性能差异和负载大小； （2）没有考虑到复制节点结点的利用率； 改进点： （1）根据负载的计算公式，选出剩余负载大的节点作为复制节点； （2）选择查询率高的节点作为复制节点。 负载指标的选取 当前衡量节点负载的指标很多，本文主要选取以下四个指标来衡量结点的负载: (1)CPU使用率 (2)内存使用率 (3)当前磁盘输入输出能力 (4)当前网络传输传输能力 负载的计算 用综合负载来反映节点的负载情况，并引入参数权重Ri来表示各个负载参数的重要程度,用(Rcpu, Rdisk, Rmem, Rnet)表示，其中∑Ri＝1。因此只要我们知道了节点的CPU、内存、磁盘等的使用率后，然后按照下面的方法计算就可得到节点的综合负载： Load=Rcpu*CPU+Rmem*MEMORY+Rdisk*DISK+Rnet*NET 副本数目的计算 本文以查询率Q为比例进行比例复制。假设结点每秒内最大处理的查询数为P，在时间T内查询文件f的查询数为q，总的查询数为N，结点中相异文件数为C，则所需副本数为Ri为：复制节点选取 复制点选取步骤如下： (1)根据当前查询率，计算需要的副本数r； (2)对结点最近一段时间内查询率的统计，选择查询率最高的前2r个结点作为第一层候选结点； (3)对第一层选择出来的候选结点，按照结点负载的计算方法，计算每个结点的负载，然后选择剩余负载量最大的前r个结点作为最为最终的复制结点； (4)将挑选出来的复制结点信息保存在原结点中。 复制节点的存储 为了便于对副本文件的更新等管理,必须在原节点与复制点间建立联系。算法中采用树结构和链表的方式存放。 复制节点的使用 算法中当把热点文件拷贝到复制结点上后，原结点会在响应查询请求时返回一个ACK消息，把新的副本结点的位置告诉查询请求沿途路径上的每个结点，同时每个复制结点都会发送一个消息通知其邻居节点，这样，复制节点的邻居节点就会知道在其上面存放了热点文件f，所有通过其邻居节点访问文件f的节点都会从复制节点上获得访问，即减少了查询的跳数又降低了原节点的负载。 算法调度步骤 改进的基于复制技术的负载均衡算法的调度步骤如下： （1）周期性的收集结点的负载，如果结点的负载大于阈值，转（2）； （2）根据最近一段时间T内的查询率，选择出查询率最高的热点资源； （3）根据查询率计算需要的副本数，假设为r； （4）选择查询率高前2r个结点作为第一层候选结点； （5）计算第一层候选结点的负载，选择剩余负载量最大的前r个结点作为复制结点； （6）保存候选结点信息并散列热点。 对比实验 实验将基于复制技术的负载均衡算法（Query Owner Replication Algorithm ，简称QORA算法）和改进的基于复制技术的负载均衡算法（Modified Replication Algorithm,?简称MRA）进行比较。实验中，总的实验时间是500秒，前100秒的查询请求分布是均匀的，后400秒查询请求发生了急剧的变化，分别模拟下面四种情况：1、90%的查询请求，查询某一个文档；2、90%的查询请求，查询0.1%的文档；3、90%的查询请求，查询0.5%的文档；4、90%的查询请求，查询1%的文档。实验中，对每一种情况均做50次实验，然后取平均值，分别对数据进行统计，然后从系统负载转移开销和复制节点利用率两个方面比较。 系统负载转移开销的比较从上图可以得出，改进后的算法能有效的减小系统的负载转移开销，四种情况下减少的负载转移开销百分数分别16.3%、23.4%、1