TNet：基于树型结构集群工具软件通信协议.pdf

TNet ：基于树型结构的集群工具软件通信协议 陈晨，陈文光，郑纬民 清华大学计算机系，北京（100084） 摘 要：传统的集群工具在结点间进行数据传输时通常使用单层型结构，数据广播和数据收 集的速度慢，可扩展性差，当集群规模较大时可能无法正常工作。树型结构是一种通用的通 信模式，可以有效降低数据广播和收集的开销。但现有的通信协议库缺乏对开发多种集群工 具如调试器，性能工具以及管理工具等的共同支持。 本文介绍了一种基于树型结构的数据 传输通用协议TNet ，该协议提供了适用于开发多种集群工具的功能及接口，如广播、收集、 结点过滤、文件分组分发等，为开发多种集群工具提供了有力地支持。 关键词：可扩展性，协议，集群工具， 广播，规约 1. 引言 随着各种应用计算需求的增加，集群计算机的规模不断增大。在2004 年 11 月份公布 的top500 超级计算机排行榜上[7]，前几位的超级计算机（如[8][9][10]）所使用的处理器数 量分别达到了32768，10160 和5120 。面对如此之大的集群规模，许多传统的并行调试工具、 性能工具、管理工具都暴露出了在可扩展性方面的不足之处。主要体现在随着集群工具所要 面对的结点数的增多，各种操作的响应时间都急剧增加，甚至由于超时而导致工具无法工作。 可扩展性不足主要原因在于传统的集群工具通常使用单层型结构进行数据传输。其中主 控结点需要负责大量的数据传输工作，容易成为集群工具运行的瓶颈，当集群结点规模很大 时，主控结点由于负载太大而导致无法正常工作。 为了解决单层型结构在数据传输方面的弊端，保证集群工具能够适用于大型的集群系 统，可以采用树型结构来代替单层型结构进行数据传输。在[1]中提出了一种利用树型结构 来进行数据传输的方法。但是它只是针对特定的调试工具开发的。在[2]中也提出了类似的 树型结构，但是它主要是针对特定的性能工具Paradyn[5]开发的。 本文提出的TNet 协议是基于树型结构的数据传输通用协议，它充分考虑了各种集群工 具的需求，提供了方便的数据传输接口，可以适用于各种集群工具的开发使用。例如，对于 集群管理工具[6]，TNet 提供了对一组结点进行远程命令执行以及对一组结点进行远程文件 拷贝的功能。同时，针对[2]中所使用的过滤器，TNet 也进行了改进，提高了效率。 本文接下来的部分组织方式如下：第2 节介绍树型结构原理；第3 节介绍TNet 协议； 第4 节介绍实验及结果；第5 节进行总结。 2. 树型结构原理 本节介绍单层型结构和树型结构的定义，以及它们在数据传输和数据收集方面的时间复 杂度。 2.1 单层型结构介绍 单层型结构是目前大多数集群工具所采用的数据传输结构。图1 所示的是典型的单层型 结构，它由一个主控结点和多个从属结点组成，主控结点和每个从属结点之间都建立了通信 连接，从属结点相互之间没有建立通信连接。 主控结点程序一般运行于用户直接使用的那台计算机上，它的功能主要包括与用户进行 交互，向从属结点发送控制命令数据，收集从属结点发来的数据，以及将数据显示给用户。 -1- 从属结点程序一般运行于所需监控的各台计算机上，它的功能主要包括接收主控结点发 来的各种控制命令数据，根据控制命令在它对应的计算机上进行相应的执行，然后将执行后 的结果传回给主控结点。 单层型结构的数据广播和数据收集的时间复杂度均为：O(n) 主控结点 从属结点 从属结点 从属结点 图1：单层型结构，主控结点和每个从属结点之间都建立了通信连接，从属结点相互之间没有 建立通信连接。数据广播和数据收集的时间复杂度均为O(n) 2.2 树型结构介绍 树型结构是针对单层型结构在数据广播和数据收集方面速度慢，可扩展性差的缺点所提 出来的新的数据传输结构。图2