天文图像合成网格服务的负载平衡-研究.pdf

第一章绪论 第一章绪论 1．1课题背景 网格研究[1】[2】[47】起源于20世纪90时代初由美国政府资助的分布式超级计 算项目I．wAY。从1993年开始，高性能计算技术和互联网技术进一步融合，产 生了新一次的技术浪潮——网格计算。网格计算是在动态的、多机构的虚拟组织 中协调资源共享和协同解决问题。网格系统除了具有分布式的一般特征外，它还 拥有在分布环境中自动执行和协作、对异构资源进行一致管理、允许资源自主管 理、允许资源动态加入或退出、局部和整体之间存在一定的相似性等特点。目前 国内外学者对网格安全、网格信息管理、网格资源分配和管理、数据管理、协同 分配和管理、工作流管理、网格监控和用户门户等诸多方面【6】都进行了广泛和 深入的探讨和研究，并推出了很多网格中间件和开发网格应用的工具包及框架。 网格技术在分布式超级计算、分布式仪器系统、数据密集型计算、远程沉浸、天 文气象、高能物理、生物信息、组合化学及商业等领域都有着广泛的应用。 虚拟天文台【46】利用最先进的信息技术、网格技术将各种天文研究资源，包 括天文数据、天文文献、各种天文分析工具、计算资源、存储资源以及天文望远 镜等观测设备，以统一的服务模式透明地汇集到系统中。虚拟天文台一经提出就 得到了全世界各国的广泛响应和积极投入，被公认为未来天文学家研究的一个重 要发展方向和工作环境。美国虚拟天文台在数据的统一注册归档、统一访问、分 析处理方面取得了很多进展。法国在虚拟天文台的数据融合方面取得了很不错的 成绩，它开放的一些工具已经集成到了世界各国虚拟天文台项目中，得到了广泛 的应用。英国国家虚拟天文台Astrogrid是目前世界上第一个结构比较完整的虚 拟天文台，集成了大量数据查询、数据访问、数据处理等应用和服务并提供了统 一的配置访问环境和工作流管理的可视化建模、执行和监视环境。还有很多国家 的虚拟天文台也取得了可观的研究成果。我国自行研发的虚拟天文台[45】实用工 集也在逐渐扩大，处在虚拟天文台的发展阶段。 天文图像合成网格服务来源于虚拟天文台一个典型和重要的应用。它利用最 新的网格技术为用户和应用程序提供一个优质高效的天文图像合成基础服务，为 天文数据的后续分析处理奠定基础。美国NASA资助的蒙太奇Montage工程完 第一章绪论 成了天文图像合成各处理模块的研究和开发，并提供一个以TeraGrid中集群系统 和并行文件系统为计算环境的主流天文数据集的天文图像合成在线服务。 网格负载平衡是提高网格性能和服务质量的关键问题。Nimrod．G、AppleS 和Condo卜G等都是目前应用较广泛的网格任务调度器。但这些调度器都是普适 型的调度器，适用一定范围的所有计算密集性任务调度。需要适用于特定的数据 密集性应用的任务调度器的出现。目前已经有很多很好的调度算法，一些新的研 究方向如神经网络、遗传算法、蚂蚁算法等，由于它们是模拟某一自然现象或过 程而发展起来的，并且具有适于高度并行与自组织、自适应、自学习等特征，引 起了人们的极大兴趣。数据密集型问题处理和调度中出现的可分负载理论对数据 密集型问题进行了很好的建模，得出了～些很好的结论，并很容易扩展到实际应 用环境中，成为数据计算领域的一个研究热点。可分负载理论作为一种任务调度 算法，能够更好更快的求解任务分配的最优解。 本文运用可分负载理论研究天文图像合成网格服务的负载平衡问题，包括该 网格服务的任务分配和再分配，从而有效地提高系统的资源利用率，减少天文图 像合成的任务平均响应时间。 1．2研究意义 天文图像合成网格服务负载平衡研究是该网格服务的研究重点，好的负载平 衡算法能够充分利用网格资源，提高天文图像合成的运算速度和网格系统的资源 利用率和负载平衡度。应用网格环境中负载平衡技术解决实际问题是网格计算研 究成败的关键，也是网格环境中负载平衡的直接目标和意义所在。天文图像合成 网格服务的研究结合具体天文学实例，研究特定网格中任务分配和再分配等核心 网格计算负载平衡问题，丰富网格计算技术和应用的内容。天文图像合成网格服 务的研究为网格计算等先进信息技术研究提供优良的实验场，推动国内信息技术 的发展。 虚拟天文台研究目前主要集中在海量天文数据的共享和访问问题上，少量的 分析处理服务也以超级计算机，集群系统，并行文件系统等为计算环境。因此， 结合天文海量数据处理的自身特点，利用全分布的工作站