基于池化架构的分布式并行计算网络系统的研究 免费.docVIP

基于池化架构的分布式并行计算网络系统的研究 1 引言 分布式并行计算近年来一直是国内外计算机界具有重要意义的研究课题，高性能分布式计算发展到今天，通过整合分散的计算资源，调动所有可能的计算资源进行大规模高性能计算已成为一种趋势，也是目前彻底突破计算瓶颈唯一行之有效且廉价的解决方案。而如何组织互联网分散的、互不相识的空闲计算机组成动态的并行工作组是问题的关键，发展的看，构筑分布式并行计算网络系统将成为可能。主要在于两点： (1) 网络计算资源庞大，但实际利用率非常低，据有关统计表明，系统使用率仅30％左右，有的空闲率竟达91％，如何利用闲散资源构筑强大的并行计算能力已越来越被人们所关注，而分布式并行计算网络环境在经济使用上具有重要的现实意义。 (2) 网络技术得到很大突破，Tbps级传输速率和10-12比特一下的传输差错率将成为现实，网络的带宽局限将得到极大缓解，网上形成庞大而繁杂的各类资源，如何更好管理组织利用这些资源是应用的关键。 2 传统计算机互连结构特征分析 机间互连主要为了实现资源共享、任务并行和容错，其特征是自主性、透明性、并行性、互操作性和可扩展性。传统的计算机互连系统结构主要分为： (1) 网络操作系统（NOS）：主要目标是资源共享和提供非透明服务，用户具有完全的自主性。用户可采用自己的策略控制本地所有资源，这种网络机制对组成透明的分布式并行计算系统是不利的。 (2) 分布式操作系统（DOS）：强调将互联系统作为一个整体来管理，对用户完全透明，面向对象的微核式操作系统代替单晶式操作系统成为发展方向，比较典型的有Amoeba，Mach，Chorus，Clouds，Sprite等，这类系统不适应网络系统对自主性的要求。 (3) 分布式系统环境（DSE）：运行在操作系统之上，即中间件，主要目标是互操作性和开放性，有较强的自主性，典型系统有OSF DCE和各类NOW系统，DSE作为中间层可集成不同的独立系统提供对分布式应用的支持，用户既可在原有平台下工作，又可和DSE交互，DSE还可屏蔽底层系统的异构性，因此，DSE技术是构筑分布式计算网络的一种好方法，但其主要目标是提供透明互操作性和定向服务，而不是任务的并行。 理想的分布式并行计算网络系统应具有透明性，并能实现动态调度计算资源和方便用户使用的目的。根据之一目标和上述三类计算机互连结构的分析，可以看出实现高效率的分布式并行计算网络平台系统的难点在于解决系统透明性与用户自主性之间的矛盾。 3 基于池化架构的分布式并行计算网络系统 池化是新近提出的技术概念，自从国际互联网工程工作组提出高可靠服务器池化概念以来，国外的多家IT巨头（包括：西门子、思科、摩托罗拉等）都对该项目极为关注，均积极参与该项目的理论研究和研发方案的探讨和论证。 该项目由国际互联网工程工作组牵头并联合多家著名IT巨头，已历时长达数年的研究和探讨，其理论模式、体系架构都已相当成熟，同时它也将是在高可靠网络领域上的首个位于传输层的高可靠网络服务体系框架，弥补了现行互联网核心技术层面上的缺陷。该技术对可靠性、机动性有较高要求的网络系统具有极高的应用价值。 本文基于池化架构，提出了一种完全透明的实现动态调度的分布式并行计算网络系统模型，其系统结构如图1所示。 3.1池化架构的基本组件与功能 池化架构的基本组件与主要功能为： (1) 池化器：系统连接结构中心，嵌入式硬件池化器负责收集池中所有服务器的计算资源属性，统一管理、监控和操作服务器池，并能根据运算任务计算量大小动态选择服务器资源。 (2) 控制台服务器：负责自动分割运算任务后，发布运算任务至服务器池中。  图1 池化分布式并行计算网络结构图 (3) 节点服务器：即服务器池中各服务器计算资源，既可为小型机也可为普通PC机。池化系统对服务器的软、硬件类型配置没有任何限制。 (4) 服务器与客户端池化设置软件：控制台安装客户端池化设置软件与服务器池化设置软件，各节点服务器安装服务器池化设置软件。池化设置软件如图2、3所示。 图2 服务器池化设置 图3 客户端池化设置 3.2 池化系统的工作流程 3.2.1形成过程 首先按计算项目的类别划分不同的服务器池，各节点服务器安装池化服务器端设置软件，进行协议、端口号、池策略、池名等设置(同一服务器池内的节点服务器，池策略必须一致)。然后池化器通过定时发布组播协议监控服务器池内服务器运行状况，并收集服务器性能信息。其后控制台服务器安装池化客户端设置软件，用户登陆控制台发布计算任务。 3.2.2运行过程 用户通过各自密码登陆