TNet基于树型结构的集群工具软件通信协议.PDFVIP

第2卷 第6期 444 中国科技论文在线 SCIENCEPAPER ONLINE 2007 年 6 月 TNet ：基于树型结构的集群工具软件通信协议 陈 晨，陈文光，郑纬民 ( 清华大学计算机系, 北京 100084) 摘 要：传统的集群工具在结点间进行数据传输时通常使用单层型结构，数据广播和数据收集的速度慢，可扩 展性差，当集群规模较大时可能无法正常工作。树型结构是一种通用的通信模式，可以有效降低数据广播和收 集的开销。但现有的通信协议库缺乏对开发多种集群工具如调试器，性能工具以及管理工具等的共同支持。本 文介绍了一种基于树型结构的数据传输通用协议 TNet ，该协议提供了适用于开发多种集群工具的功能及接口， 如广播、收集、结点过滤、文件分组分发等，为开发多种集群工具提供了有力的支持。 关键词：可扩展性；协议；集群工具；广播；规约 中图分类号：TP393.04 文献标识码：A 文章编号：1673－7180(2007)06 －0444 －6 0 引言 提供了对一组结点进行远程命令执行以及对一组结 随着各种应用计算需求的增加，集群计算机的 点进行远程文件拷贝的功能。同时，针对文献[5]中 规模不断增大。在 2004 年 11 月份公布的top500 超 所使用的过滤器，TNet也进行了改进，提高了效率。 级计算机排行榜上[1] [2~4] 本文接下来的部分组织方式如下：第 1 节介绍 ，前几位的超级计算机 所使 用的处理器数量分别达到了 32 768 ，10 160 和 5120。 树型结构原理；第 2 节介绍 TNet 协议；第 3 节介绍 面对如此之大的集群规模，许多传统的并行调试工 实验及结果；第 4 节进行总结。 具、性能工具、管理工具都暴露出了在可扩展性方 1 树型结构原理 面的不足之处。主要体现在随着集群工具所要面对 本节介绍单层型结构和树型结构的定义，以及 的结点数的增多，各种操作的响应时间都急剧增加， 它们在数据传输和数据收集方面的时间复杂度。 甚至由于超时而导致工具无法工作。 1.1 单层型结构介绍 可扩展性不足主要原因在于传统的集群工具通 单层型结构是目前大多数集群工具所采用的数 常使用单层型结构进行数据传输。其中主控结点需 据传输结构。图 1 所示的是典型的单层型结构，它 要负责大量的数据传输工作，容易成为集群工具运 由一个主控结点和多个从属结点组成，主控结点和 行的瓶颈，当集群结点规模很大时，主控结点由于 每个从属结点之间都建立了通信连接，从属结点相 负载太大而导致无法正常工作。 互之间没有建立通信连接。 为了解决单层型结构在数据传输方面的弊端， 主控结点程序一般运行于用户直接使用的那台 保证集群工具能够适用于大型的集群系统，可以采 计算机上，它的功能主要包括与用户进行交互，向 用树型结构来代替单层型结构进行数据传输。文献[5] 从属结点发送控制命令数据，收集从属结点发来的 提出了一种利用树型结构来进行数据传输的方法。 数据，以及将数据显示给用户。 但是它只是针对特定的调试工具开发的。文献[6][7] 从属结点程序一般运行于所需监控的各台计算 也提出了类似的树型结构，但是它主要是针对特定 机上，它的功能主要包括接收主控结点