多核下基于远程直接内存访问的高效远程过程调用研究.pdfVIP

高技术通讯 2011年 第2l卷 第7期：681686 doi：10．3772／j．issn．1002—0470．2011．07．003 多核下基于远程直接 内存访 问的高效远程过程调用研究① 李 波② 孟 丹 霍志刚一 (中国科学院计算技术研究所国家智能计算机研究开发中心 北京 100190) ( 中国科学院计算机系统结构重点实验室 北京 100190) (… 中国科学院研究生院 北京 100049) 摘 要 针对 目前基于远程直接内存访问(RDMA)的远程过程调用(RPC)设计在多核背 景下存在的性能和扩展性问题，提出了一种新的基于RDMAWrite的高效RPC设计方法 并对网络文件系统(NFS)提供了支持。重点就设计中的安全性问题和 内存管理机制进行 了分析，并针对 内存有效利用提出了被动和主动两种回收机制。测试结果表明，这种新的 RPC设计方法能降低RPC延迟 13％～2O％。对 内存文件系统及真实磁盘文件系统的测 试表明，此设计能有效提高多核系统中RPC的性能和扩展性。 关键词 远程直接内存访问(RDMA)，远程过程调用(RPC)，多核，网络文件系统(NFS) 由于 RDMARead操作的特殊性，在操作过程 0 引 言 中，发起方和接收方都需要保存操作的相关上下文， 随着具备远程直接内存访问(remotedirectmem． 而网卡保存相关上下文个数受限于网卡有限的资 oryaccess，RI)MA)特性的高性能网络 (如Myrinet、In． 源。以目前主流的InfiniBnadConnectX网卡为例，其 finiBand等)的广泛应用，作为网络文件系统 (network 支持应用程序并发的RDMARead操作数为 8个。 filesystem，NFS)_】j底层通信协议的远程过程调用 在单核系统中，这通常不会带来大的影响，而随着多 (remoteprocedurecall，RPC)开始将 RDMA作为一种 核在服务器中的广泛应用，服务端处理并发RPC请 新的通信传输方式。与传统的基于传输控制协议／ 求的能力不断增强，这使得底层的通信网络可能成 用户数据报协议 (TCP／UDP)的RPC设计相 比，RD． 为系统性能和扩展性的新瓶颈。而RDMARead的 MA具有更高的性能和扩展性。针对RDMA的Inter． 并发数的限制是一个突出的问题。 net小型计算机系统接 口(iSCSI)扩展 (iSCSIexten． 针对基于RDMARead的RPC设计在多核背景 si0nsforRDMA，iSER)J和直接存储文件系统(direct 下存在的性能和扩展性问题，本文提出了基于RD aceeSSfilesystem，DAFS)_3J即利用网络的RDMA特性 MAWrite的高效 RPC设计并对 NFS提供了支持。 来访问远程文件。Goglin等_4J将 NFS的RPC协议替 本文重点就设计中的安全』生问题和内存管理机制进 换为MyrinetGM协议并获得了优化的远端文件系统 行了分析，并针对 内存有效利用提出了被动和主动 访问。Callaghan等_5j在 Solaris上提供了基于 Infini． 两种回收机制。测试结果表 明，本文提出的设计能 Band的RPC的最初设计 ，该设计利用 了网卡的RD． 有效提高RPC及其上层应用的性能和扩展性。 MARead特性 。Noronha等l，7J提出了RDMARead 和 RDMAWrite相结合的设计进一步提高了基于 1 基于RDMAWrite的RPC设计 RDMA的RPC的性能和扩展性。Yu等_8J对广域网 下基于RDMA的NFS进行了性能评测，作者认为基 在文献[5，6]的RPC设计中，对于 NFS客户的 于RDMA的存储系统需要避免基于页面的RDMA 文件写操作，底层 RPC采用了RDMARead的方法， 操作方式，同时作者指出需要提高RDMAR