InfiniBand网络技术及主流厂商分析.pdfVIP

InfiniBand 网络技术及主流厂商分析 1 一、 InfiniBand 技术和协议架构分析 Infiniband 开放标准技术简化并加速了服务器之间的连接 ,同时支持服务器与远程存储和网络设备的 连接。 IB 技术的发展 1999 年开始起草规格及标准规范， 2000 年正式发表，但发展速度不及 Rapid I/O 、PCI-X 、PCI-E 和 FC，加上 Ethernet 从 1Gbps 进展至 10Gbps 。所以直到 2005 年之后， InfiniBand Architecture(IBA) 才在集群式超级计算机上广泛应用。全球 Top 500 大效能的超级计算机中有相当多套系统都使用上 IBA 。 随着越来越多的大厂商正在加入或者重返到它的阵营中来， 包括 Cisco 、IBM 、HP 、Sun 、NEC 、Intel 、 LSI 等。 InfiniBand 已经成为目前主流的高性能计算机互连技术之一。为了满足 HPC 、企业数据中心和云 计算环境中的高 I/O 吞吐需求， 新一代高速率 56Gbps 的 FDR (Fourteen Data Rate) 和 EDR InfiniBand 技术已经出现。 IB 技术的优势 2 Infiniband 大量用于 FC/IP SAN 、NAS 和服务器之间的连接 ,作为 iSCSI RDMA 的存储协议 iSER 已 被 IETF 标准化。 目前 EMC 全系产品已经切换到 Infiniband 组网， IBM/TMS 的 FlashSystem 系列， IBM 的存储系统 XIV Gen3 ，DDN 的 SFA 系列都采用 Infiniband 网络。 相比 FC 的优势主要体现在性能是 FC 的 3.5 倍， Infiniband 交换机的延迟是 FC 交换机的 1/10 ，支 持 SAN 和 NAS 。 存储系统已不能满足于传统的 FC SAN 所提供的服务器与裸存储的网络连接架构。 HP SFS 和 IBM GPFS 是在 Infiniband fabric 连接起来的服务器和 iSERInfiniband 存储构建的并行文件系统，完全突破 系统的性能瓶颈。 Infiniband 采用 PCI 串行高速带宽链接，从 SDR 、DDR 、QDR 、FDR 到 EDR HCA 连接，可以做 到 1 微妙、甚至纳米级别极低的时延，基于链路层的流控机制实现先进的拥塞控制。 InfiniBand 采用虚通道 (VL 即 Virtual Lanes) 方式来实现 QoS ，虚通道是一些共享一条物理链接的相 互分立的逻辑通信链路，每条物理链接可支持多达 15 条的标准虚通道和一条管理通道 (VL15) 。 3 RDMA 技术实现内核旁路，可以提供远程节点间 RDMA 读写访问，完全卸载 CPU 工作负载，基于 硬件传出协议实现可靠传输和更高性能。 相比 TCP/IP 网络协议， IB 使用基于信任的、流控制的机制来确保连接的完整性，数据包极少丢失， 接受方在数据传输完毕之后，返回信号来标示缓存空间的可用性，所以 IB 协议消除了由于原数据包丢失 而带来的重发延迟，从而提升了效率和整体性能。 TCP/IP 具有转发损失的数据包的能力，但是由于要不断地确认