InfiniBand介绍.docVIP

InfiniBand介绍 一、InfiniBand诞生的原因InfiniBand是新一代服务器硬件平台的I/O标准，它是一个竞争的产物，在经历了以Intel为首和以IBM为首的两大阵营激烈碰撞多年之后，NGIO和Future IO终于走到了一起，于是InfiniBand架构诞生了。从另一个角度讲，InfiniBand的诞生很程度上来自中央处理器的飞速发展。自从Intel推出PentiumII和PentiumII Xeon CPU之后，IT顶尖厂商竭尽全力要保持在芯片领域中的领先地位，于是64位处理器出现了，CPU的主频升了再升。为了追上CPU的脚步，高工作频率的PC133、DDR和Rambus内存出现了。但是，人们逐渐发现，系统的I/O部分已经难以胜任当前的工作了。以目前最热门的应用—www和数据在线交易为例，CPU经常会在一个或多个时钟周期内等待数据从硬盘或网卡调入到CPU的寄存器中，即使对于大量采用DMA方式操作的简单数据传送也会因为I/O子系统的速度落后于内存而导致数据拥塞在I/O总线上。于是人们开始重新审视使用了十几年的PCI总线架构。虽然PCI总线结构把数据的传输从8位/16位一举提升到32位，甚至当前的64位，但是它的一些先天劣势限制了其继续发展的势头。PCI总线大致有以下一些缺陷：1、由于采用了基于总线的共享传输模式，在PCI总线上不可能同时传送两组以上的数据，当一个PCI设备占用总线时，其他设备只能等待；2、随着总线频率从33MHz提高到66MHz，甚至133MHz（PCI-X），信号线之间的相互干扰变得越来越严重，在一块主板上布设多条总线的难度也就越来越大；3、由于PCI设备采用了内存映射I/O地址的方式建立与内存的联系，热添加PCI设备变成了一件非常困难的工作。目前的做法是在内存中为每一个PCI设备划出一块50M到100M的区域，这段空间用户是不能使用的，因此如果一块主板上支持的热插拔PCI接口越多，用户损失的内存就越多；4、PCI的总线上虽然有buffer作为数据的缓冲区，但是它不具备纠错的功能，如果在传输的过程中发生了数据丢失或损坏的情况，控制器只能触发一个NMI中断通知操作系统在PCI总线上发生了错误；而InfiniBand弥补了PCI总线的上述缺陷，以一种全新的方式把网络中常见的交换和路由概念引入了I/O子系统当中。在InfiniBand架构中，最主要的硬件部分就是HCA、TCA和IB Link。HCA是Host Channel Adapter的缩写，它是连接内存控制器和TCA的桥梁；TCA是Target Channel Adapter的缩写，它将I/O设备（例如网卡、SCSI控制器）的数字信号打包发送给HCA；IB Link包含了连接HCA和TCA的光纤以及光纤交换机、路由器等整套设备。在现阶段一根光纤的传输速率是2.5Git/s，支持全双工模式，并且可以把多条光纤捆绑到一起工作，目前的模式有x4、x12两种。一言以蔽之，InfiniBand架构的核心就是把I/O子系统从服务器主机中剥离出去，通过光纤介质，采用基于交换的端到端的传输模式连接它们。InfiniBand的工作原理在阐述InfiniBand的工作原理之前，不妨先看一看当前PCI总线架构是如何把数据从I/O设备传输到内存中的：对于使用PCI总线架构的服务器来讲，内存控制器一般通过1条或多条高速总线与I/O总线控制器相连。例如在联想的4200/4600r高端服务器中，就是使用了2条特制的16位IMB高速总线用于传输内存与I/O系统之间的数据。IMB总线的工作特点是：总线的频率是133MHz，在一个时钟周期内可以触发两次数据发送，因此每条IMB总线在每秒可以送出2Byteamp;2amp;133MHz=533MByte，这样做的目的是为了满足多条64位高速PCI总线的数据传送需求。2条IMB总线一条用于从内存控制器将数据发到I/O控制器，另一条的传送方向刚好相反，于是内存控制器与I/O控制器之间的数据带宽可以超过1GB/s。数据从网卡或硬盘需要先经过PCI总线，再通过IMB总线送入内存或CPU的缓存中，反之亦然。下面我们看一下在InfiniBand架构中，数据是如何传输的。如图1所示，InfiniBand架构相比PCI总线的方式更前进了一步，在内存控制器与HCA之间是通过Hub Link方式相连的，目前的标准是Hub Interface2.0。Hub Link是一种串行总线，它的工作频率可以提到很高，而它最大的优势就是良好的可扩展性，主板设计师可以根据需要的总线带宽在内存控制器和HCA之间选择多条Hub Link总线 从图1中可以看出，数据从网卡或硬盘首先通过各自的I/O控制器送给TCA，再由TCA通过Inf