高性能计算知识：高性算InfiniBand网络详解.pdf

高高性性能能计计算算知知识识：：高高性性算算InfiniBand网网络络详详解解 免费群 InfiniBand是一种网络通信协议，它提供了一种基于交换 架 构，由处理器节点之间、处理器节点和输入/输出节点(如磁 盘或存储)之间 点对点双向串行链路构成。每个链路都有一 个连接到链路两端 设备，这样在每个链路两端控制传输(发 送和接收) 特性就被很好地定义和控制了。 InfiniBand通过交换机在节点之间直接创建一个私有 、受保 护 通道，进行数据和消息 传输，无需CPU参与远程直接 内存访问(RDMA)和发送/接收由InfiniBand适配器管理和执行 负载。适配器通过PCI E press接口一端连接到CPU ，另一 端通过InfiniBand网络端口连接到InfiniBand子网。与其他网络 通信协议相比，这提供了明显 优势，包括更高 带宽、更 低 延迟和增强 可伸缩性。 第1页 InfiniBand Trade Association (IBTA)成立于1999年，负责 InfiniBand商业产品 符合性和互操作性测试。IBTA 比任何其 他互连解决方案更积极地推动了高性能 开发，确保了为2 1 世纪设计 体系结构。作为IBTA指导委员会 积极成 员，Mellano 感到自豪。 但是IBTA 9个主要董事成员CRAY、Emule 、HP 、IBM 、 intel、Mellano 、Microsoft、Oracle、Qlogic中只有Mellano 和 Emule 专门在做InfiniBand，其他成员只是扮演了使用 InfiniBand 角色。而Emule 由于业务不景气也在2015年 2 月被Avago收购，Qlogic infiniband业务在2012年也全部卖给 Intel了。 有关InfiniBand 更多信息，请参见: /document/dl/7268 InfiniBand串行链路可以在不同 信令速率下运行，然后可以 捆绑在一起实现更高 吞吐量。原始信令速率与编码方案耦 合，产生有效 传输速率。编码将通过铜线或光纤发送 数 据 错误率降至最低，但也增加了一些开销(例如，每8位数 据传输10位) 。 典型 实现是聚合四个链接单元(4X) 。目前，InfiniBand系统 提供以下吞吐量速率: 第2页 与其他网络协议 （如TCP/IP ）相比，IB协议具有更高 传输 效率。原因在于许多网络协议如TCP/IP具有转发损失 数据 包 能力，但是由于要不断地确认与重发，基于这些协议 通信也会因此变慢，极大地影响了性能。与之相比，IB使用 基于信任 、流控制 机制来确保连接 完整性，数据包极 少丢失。使用IB协议，除非确认接收缓存具备足够 空间， 否则不会传送数据。接受方在数据传输完毕之后，返回信号 来标示缓存空间 可用性。通过这种办法，IB协议消除了由 于原数据包丢失而带来 重发延迟，从而提升了效率和整体 性能。 IB是以通道 （Channel）为基础 双向、串行式传输，在连接 拓朴中是采用交换、切换式结构 （Switched Fabric ），所以会 有所谓 IBA(Infiniband Architecture)交换器 （Switch ），此外 在线路不够长时可用IBA 中继器 （Repeater ）进行延伸。而每 一个IBA网络称为子网 （Subnet ），每个子网内最高可有 65,536个节点 （Node ），IBA Switch 、IBA Repeater仅适用于 Subnet范畴，若要通跨多个IBA Subnet就需要用到IBA路由器 （Router ）或IBA网关器 （Gateway ）。至于节点部分，Node 想与IBA Subnet接轨必须透过配接器 （Adapter ），若是 CPU 、内存部分要透过HCA （Host Channel Adapter ），若为 硬盘、I/O部分则要透过TCA （Target Channel Adapter ），之 后各部分 衔接称为联机 （Link ）。上述种种构成了一个完 整 IBA 。 IB 传输方式相当灵活，若在设