InfiniBand高速网络互连技术概述.ppt

* * * This is a classic Mission Critical HPC cluster with MFIO, deployed for a large bank where downtime is unacceptable. * This is a classic HPC design with TS120’s at the edge and TS270’s in the core. Most economical way to build one. * This is a classic HPC design with TS120’s at the edge and TS270’s in the core. Most economical way to build one. EMC SAN Overview October 2008 * Note to Presenter: View in Slide Show mode for animation. This slide depicts the evolution of storage networking technologies. This presentation will cover the benefits of SAN versus DAS, some of the applications like backup and replication that are made easier in a SAN environment, and then we’ll talk about a new protocol, Fibre Channel over Ethernet (FCoE). * * * * InfiniBand Link Speed Roadmap 26 6 36 28 SM的主要功能也就是子网管理中的几个关键问题。 * 子网探测包括初始化时子网拓扑的发现以及子网运行是检测拓扑改变。 * * 增加设备的过程和子网发现的过程有很多相似的地方。 * * * * SAN/NAS存储结构 Management Console S A N NAS NAS NAS tape 数据中心的IO加速 内容提要 超级计算机系统及其互连结构 Infiniband互连网络的体系结构 在HPC中的典型互连架构及应用 IB网络优化技术 未来展望 有效的IB通信优化方法 GPUDirect CORE-Direct Offloading Congestion Control Adaptive Routing Management Messaging Accelerations Advanced Auto-negotiation MPI IB网络中典型的MPI通信性能 IB网络路由和拥塞控制 通过子网管理器SM（软件）集中管理 每个节点（host和switch）驻留管理代理SMA，与SM交换信息，实现路由和拥塞控制功能 路由算法 寻径过程，为两个机器之间选择一条通信路径。 目标： 最小代价 (最小跳步数) 无死锁、活锁 平衡网络流量负载 避免拥塞，避免通信“热点”竞争 网络拓扑 规则网络 网络具有规则的拓扑图结构 (ring, meshes,Fat-tree，hypercube, etc) 易于优化 不规则网络 不规则的网络图形状 拓扑发现比较关键 需要精心设计路由算法，保证无死锁 路由算法的分类：oblivious和adaptive Oblivious（确定性路由） 为每个源和目的对分配一个路由，而不考虑网络流量。这种路由具有一定的吸引力attractive，因为其路由可以事先计算出来，尽管计算的代价可能很高。 Adaptive（自适应路由） 力图根据当前流量来调节节点间的路由。这种路由能够对全局网络的通信状况迅速作出反应，并实时改变路径以达到流量均衡的目的，通常会使用快速但并非最优化的算法来实现。 IB网络路由 IB网络路由是确定性路由（oblivious） 因为IB网络使用基于目标LID的路由 转发表在网络构建之初已经形成， 转发表是线性的: 目的地的LID号 ?下一跳输出端口 任意网络上的确定性路由（oblivious）的最优化问题是NP-hard问题 oblivious路由算法通常是保守的，即不需要监控网络实时状态，可采用完全分布式实现方式。 IB网络路由 IBA体系结构能够实现高性能互连 基于IBA互连的大型系统通常可允许包含几千个结点。 IBA并不受限于某种网络拓扑结构，但最常用的IB网络部署都是用k-ary n-tree拓扑（例如，fat-tree，clos） Minhop最小跳数算法（默认路由算法） Updn Up/down 算法 Ftr