数据网格的资源管理相关策略及算法的研究.pdf

Ph.D. Dissertation of Chongqing University Resource Management Strategies and Corresponding Algorithms in Data Grid Ph.D. Candidate: Li Jing Supervisor: Prof. Chen Shuyu Major: Computer Application Technology College of Computer Science Chongqing University Oct. 2007 摘 要 网格是当前并行和分布处理技术的一个发展方向。数据网格作为以数据为共 享资源的网格，面向广域网异构环境，为用户建立分布、异构、海量数据的一体 化访问、存储、传输、管理与服务架构，是实现广域网环境下数据共享和协同问 题求解的有效途径。资源管理是网格，也是数据网格的关键技术之一。它对于开 发网格系统具有重大的理论意义和实用价值，是一个具有挑战性的问题。 本论文深入地分析了数据网格资源管理的研究现状，针对目前资源管理中的 资源组织、发现、选择技术的问题和不足，结合当前网格技术的发展趋势，将小 世界原理应用到资源组织领域；以提高资源定位的高效性和安全性为目标，提出 了基于层次化语义相关资源组织模型和信任社区的资源发现机制。副本是数据网 格中的一种特殊资源。在分析数据网格中副本管理特性的基础上，提出了自适应 数据副本创建和副本选择策略及其算法。 通过理论分析和仿真实验，结果表明：本论文给出的方法是有效的，为解决 数据网格环境中的资源组织、发现问题，以及副本创建和副本选择问题进行了有 意义的探索。 本论文的主要研究工作如下： ① 提出了一种在网格环境构造小世界网络所使用的协议 SSWCP。这个协议 具有以下优点：可扩展，可靠，分布式操作。它是简单的，完全分布式和自组织 的。它仅仅依赖于整个系统所有节点的局部视图，并符合Kleinberg 小世界分布的 特征。在此协议的基础上，提出构造基于小世界的层次化语义网格资源组织模型 SWLS，把资源按语义分层次组织，按语义聚类，增加了资源查询和资源信息更新 的针对性。 ② 在基于小世界的层次化语义相关资源组织模型 SWLS 的基础上，提出资源 发现机制，既能支持多样化查询又易扩展，可以获得良好的负载均衡性，同时， 由于利用了小世界原理，能提高资源查询的效率。为提高资源发现的安全性，建 立一种信任社区模型，提出基于信任社区的资源发现机制。该方法利用网络节点 之间存在的信任关系构成资源信任社区，增加资源发现的可靠性和安全性。综合 SWLS 与信任社区机制的资源发现方法具有可靠性、安全性，高效性和可扩展性良 好的优势。 ③ 建立了副本创建系统模型，从应用环境和用户访问特征出发，讨论了副本 创建位置、粒度和时机。其中提出了一种基于副本共享组的副本创建位置决策机 制，并给出确定副本创建位置的有效算法。分析和实验表明，自适应副本创建策 I 略具有动态性、自适应性和可扩展性，能较好地适应数据网格的特性，可以有效 降低访问延迟，提高数据访问效率，是数据网格中海量数据共享的可行方法。 ④ 分析影响副本选择的因素，将灰色系统理论应用于副本响应时间的预测， 建立 GM(1,1)灰色动态拟合模型；同时应用马尔可夫链预测副本可靠性发展趋势。 在预测基础上，构建评价函数。仿真实验结果表明，该算法预测效果较好，有利 于作出正确的副本选择决策，并能有效实现网格中副本存储节点间的负载平衡。 论文末尾除对研究工作进行总结外，还对今后的研究方向进行了展望。 关键词：网格，数据网格，资源管理，小世界，副本 II ABSTRACT Grid is generalized and large-scale distributed