基于SRPIBSAN设计与实现.docVIP

基于SRPIBSAN设计与实现 　　摘要：介绍了基于SRP的IB－SAN的整体结构，分析了SCSI read/write命令处理过程中的两个关键问题，即数据缓冲区的内存注册/注销方法和RDMA操作的执行者获取对方数据缓冲区信息的方式。实验结果表明，SRP能够使InfiniBand网络性能得到充分发挥，系统的总体I/O性能明显优于基于iSCSI协议的IB－SAN。 　　关键词：网络存储； 存储区域网络； 小型机系统接口远程直接内存存取协议； 远程直接内存存取；InfiniBand 　　中图分类号：TP393文献标志码：A 　　文章编号：1001－3695(2008)04－1167－04 　　 　　随着高性能计算与应用服务的发展，更多的高性能存储区域网络开始利用高速网络与专有协议来构建。这主要包括基于光纤通道与FCP协议的FC－SAN、基于以太网与iSCSI协议的IP－SAN以及基于InfiniBand（简称IB）[1]的IB－SAN。FC－SAN需要专门的光纤通道网络，因此价格昂贵；IP－SAN可以利用目前广泛使用的以太网，成本较低，然而网络协议处理需要占用较多的主机CPU时间，严重影响系统的总体性能；IB网络具有高带宽和低延迟的特点，利用RDMA（remote direct memory access）机制和HCA（host channel adapter）的专用协议卸载引擎可以有效降低主机处理网络协议的开销，在高性能计算与数据库系统中得到日益广泛的应用[2,3]。在这些应用环境中，利用已经存在的IB网络构建SAN系统既能获得较高的系统性能，又能保持网络的简单性。 　　??IB－SAN可以基于多种协议来构建，如iSCSI、SRP[4]和iSER（iSCSI extensions for RDMA）[5]。基于不同协议的IB－SAN具有不同的特点，而且具体的设计与实现方法直接影响着IB网络性能的发挥和系统的总体性能。例如，利用IB的RDMA或者发送/接收方式传输数据前，数据缓冲区需要进行内存注册；传输数据时，RDMA操作的执行者需要事先获取对方数据缓冲区的地址、长度和访问授权信息。如何减小或者消除这些过程的时间开销，避免其成为系统瓶颈，是非常关键的问题。 　　 　　??1IB－SAN的构建方法 　　 　　??IB－SAN可以基于iSCSI协议来构建。具体实现时，底层传输协议可以使用TCP/IPoIB（IP over IB）[6]或SDP（socket direct protocol）。其中，IPoIB协议将IB网络模拟成IP网络，因此在利用TCP/IPoIB协议构建IB－SAN系统时，传统的基于TCP/IP层的iSCSI协议与软件无须作任何改动，但是这种方法不能利用RDMA机制的优势；SDP是IB结构中一种轻量级通信协议，保持了TCP/IP上的SOCK_STREAM套接字语法，因此在使用SDP构建IB－SAN系统时，只需在socket调用中改用SDP地址簇，通过很小的改动就能利用IB网络的RDMA机制，取得更优的系统性能。然而，与TCP的兼容也带来了额外的协议开销，IB网络性能没有得到充分发挥。 　　?セ?于RDMA实现SCSI协议则能避免上述弊端。目前被广泛使用的包括SRP和iSER。SRP是由ANSI T10委员会制定的标准，iSER协议是IETF制定的草案，它们都支持以RDMA的方式传输SCSI数据。关于这两种协议的优劣目前依然存在许多争论，不过通常认为iSER在与iSCSI协议的兼容上具有优势，而SRP则因将SCSI协议直接映射到IB的传输层而更具性能优势。虽然本文介绍的是SRP，但因为两种协议在传输的实现方法上非常近似，所以对于iSER协议的实现同样具有参考价值。 　　 　　??2系统整体结构 　　 　　?セ?于SRP的IB－SAN由两部分组成，即SRP initiator和SRP target，其整体结构如图1所示。在initiator端，SCSI disk driver、SCSI unifying layer和SRP initiator driver分别对应Linux SCSI子系统的upper、mid和lower三个层次。其中，SCSI disk driver向上层SCSI应用提供通用的块设备接口，接收read/write请求并将其转换为SCSI请求；SCSI unifying layer将SCSI请求转换为SCSI命令和数据传输序列交给底层执行，并根据底层返回的SCSI响应设置SCSI请求的完成状态；SRP initiator driver属于一种特殊的SCSI设备，它通过IB driver提供的传输接口以SRP命令和响应的形式向target分发SCSI命令，从target接收