updown路由算法及其各种优化.docx

updown 路由算法及其各种优化 高速 Infiniband 网络主要用于高性能计算系统中进行高速通信，其主要特点是高带宽、 低延时，网络路由机制简单，路由子网管理机制效率较高。 IBA 规范定义了一整套InfiniBand 网络从硬件到上层支撑软件的协议框架，为 InfiniBand 网络的实现给出了基本设计要求和实现方法，但对于具体的软/硬件实现机制，特别是互连 网络的路由算法，并不做十分具体的限定。因此，这也决定了InfiniBand 网络具有广泛的适 应性，能够构建各种不同结构类型的网络拓扑结构，使用各种路由算法，并在较为宽松的条 件内扩展RDMA 等软件通信机制。然而，也正是由于IBA 协议的灵活性和可扩展性，使得对 于Infiniband 网络的优化设计显得较为复杂，从底层的基本交换单元和 NIC接口，到上层的 软件通信机制，再到网络管理的子网管理机制，都具有较大的灵活性和不确定性，进而由于 各个部分设计的耦合程度不均匀/不同步、实现时相互考虑不周全所造成的系统整体通信性 能下降、出现拥塞或热点、容错能力较弱等问题。 在现代高性能计算领域中，计算结点内包含众多内核，系统计算结点规模不断增长，用 户科学计算程序规模和种类不断扩大，高速互连网络的规模也不断扩大。网络规模的扩大， 在设计实现上面临诸多挑战： (1) 如何提高路由算法的效率。随着网络规模的扩大，设计高带宽低延时的高速 通信网络越来越困难。大规模结点的互连拓扑变得十分复杂，对路由算法的 设计提出了更高的要求。同时，路由管理机制也需要更高的适应能力。 (2) 如何保证更高效的QoS 能力。拥塞控制、热点避免、快速适应众多同时运行 的应用程序所具有的不同通信模式。 (3) 如何提供容错能力。当结点间通信受阻时能够快速地选择备份路径结点进行 路由。当链路不可达时可快速计算出可选通信通路并有效部署。 (4) 如何针对应用模式进行通信。在大型数据中心或者提供广泛高性能计算服务 的超算中心，如何分别为大量不同通信模式应用程序提供较合适的通信机制。 目前，高速 InfiniBand 网络在路由管理和路由算法实现机制上主要根据 IBA规范中定义 的子网管理模型。国际开放组织 OFED 根据 IBA 规范实现了 InfiniBand 子网管理机制，在商 用InfiniBand 网络的软件架构都采用 OFED 协议软件。在学术研究领域， InfiniBand 路由算法 研究的比较多的包括 minhop,updown,lash,ftree 等结构。不同路由算法对网络拓扑结构 的适应性有所差异，在死锁防止方面所达到的效果也有所不同。本文主要论述了updown 路 由算法在 InfiniBand 网络中的应用情况。 本文首先给出了updown 算法的基本实现机制，而后阐述 updown 算法的各种优化机制， 最后分析这种路由算法在 InfiniBand 网络中的适应性和缺陷。 up*/down*路由机制适用于规则和不规则拓扑的交换单元 switch 网络的通用算法，可以 采用源路由或者分布路由实现。 Autonet 首次提出 UP*/DOWN* 算法 Autonet: a high-speed, self-configuring local area network using point-to-point links 该文献首次提出了UP*/DOWN* 算法。构造了一种自动重配置、无死锁的网络 Autonet。 该网络应该是 Infiniband ,Myrinet等点对点、基于流控的、直通 cut-through 网络的前身。 Autonet为每个链路分配一个方向标记，为此，首先计算出网络的宽带优先生成树(BFS), 而后按照如下规则为每个链路定义 up 方向：1、 一条链路所连接的交换机靠近生成树根的 一端为up 方向；2、如果链路两端连接的交换机在生成树的同一层上，则具有较小 ID号的 交换机所连接的那一端为 up 方向。这样，在网络环路中至少有一个链路位于 up 方向， 一 条链路位于down 方向。通道相关图CDG 中的环路可以通过禁止报文在通过一个 down 方向 链路后再经历up 方向链路的方法来避免。 其中很关键的地方是： (1)采用邻居发现和逐步学习的方法分布构造生成树：每个节点都探测邻居结点，经 过选举或自荐，试图判断自己在树中的位置，最终会获得一个全局一致的生成树，此过程的 收敛速度由启发方法来控制，这种生成树构造方法在文献 Perlman, R. An algorithm for distributed computation of a spanning tree in anextended LAN. In Proceed