XNET网络接口的设计和研究.pdfVIP

堕塞：!望! 墨±星!里堡竺塾兰垒堡垒兰鏊塑望堕兰查垒堡垒茎 XNET网络接口的设计与研究 张瀛周桂林许斌李三立马群生 (清华大学计算机系北京100084) erie c8．tsinghua．edu．cn a囝ire 摘要：本文介绍了使用用户层通信协议后，大大减小了软件开销从而提高了消息传递的效率．详细描述了以X／惦Ti 高速网络接口卡为基础的网络结构。 关键宇： 消息传递、软件开销，用户层消息传递、通信与计算重叠． 1前言 随着微电子技术和光电技术的发展，网络通信速度的提高．各种系统网络互联结构不但在机群系统而且在紧耦 合多处理机系统中都被广泛地使用，高速的互联技术使构建太规模的并行处理系统不再局限于主机底扳之上或一两 间主机机房之中，人们可以使用更灵话的连接方式来实现这一目标。目前国内外先进的多处理机系统有许多系统采 用交叉开关进行系统互联．如Myrinct[1]、lNet[2J等都可以为系统提供每秒上千兆字节的数据传输速率。 与此同时，许多研究工作的重点转向了研究如何充分发挥高速互联髑铬的性能．这些研究袭明lⅦ3】15儿8】19】： 目前网络通信的瓶颈不再是硬件传输的问题，而是软件协议和系统调用的开销造成的延迟问题．在传统的UNIX网 络系统中．传递一次消息需要进行多次的数据拷贝和经过多层的协议处理以及系统在核心态与用户态的多次切换， 这些处理步骤都严重地影响了高速网络的通信性能，增加丁消息传递的软件开销．R．RMartin等人【3】通过构造L0妒 模型研究了机群系统中互联网络的几个主要参数(通信延迟、软件开销以及网络带宽)与应用程序的性能之间的关 系。研究的缩果发现，应用程序的性能对软件开销变化产生的影响十分敏感，当软件开销由3us变为103us时，应 用程序的性能降低了60倍；同时应用程序也极易受系统网络带宽的影响，而传输的通信延迟对其却影响不大。liEicken 等人的研究[8119][II[31证实只有安现用户层的通信机制，绕开系统核心对网络通信的影响，才能使应用程序充分利 用高速的互联网络。 我们的研究目的就是设计～种支持应用程序可以在用户层直接进行消息传递的网络接口结构，从而械小系统驱 动程序和传统网络协议对消息传递的影响，使并行系统的得以真正地在高速的互联网络环境中运行，同时实现网络 消息传递与节点计算重叠地同时进行，从而发挥并行计算的强大威力。’本文讨论了如何在网络接口卡中实现对用户 层消息传递的支持 =，用户屡的消息传递 前面我们已经讨论了由于传统的网络通信结构降低了高速鼹络的遵信住能，增加了软件遁信开锁的向腿．那么 用户层消息传递的网络结构是如何解决这个问题，又是如何实现的呢? 用户层消息传递的基本思想：为应用程序提供可以直接访问网络接口卡的消息传递函数接口，同时调用这些函 数时系统一直保持在用户态运行．为增加系统的性能还需要考虑缩短使用这些函数的调用时间，节省更多的时间执 行应用程序的计算任务。我们在后面把用户层的消息传递与通信与计算重叠的问题一并讨论。 如图1所示t传统的通信过程中，软件开销主要包括了每次通信系统函数调用时状态切换造成的延时(系统为 此时需要保留大量与进程相关的上下文数据，2-3us)，数据包在系统内存中的多次拷贝等．多次拷贝数据的时间(尤 其是一些大数据包)与消息在高速互联网络中的传输时间几乎相等．这些操作同时还占用了系统的CPU瓷源和存 不但要进行数据拷贝还至少要进行计算产生CRC校验，占用了大景的指令执行周期，这些都是在传统传输协议中 无法避免的。而用户层消息传递方式～般只需要拷贝一次数据，而且这次拷贝通常都是由网络接口卡采用D／vIA方 式直接从系统主存中读取的数据，不占用cPu时间．如果差错控制等功能同时在网络接口上实现，那么消息传递 一i0一 笙±星!里：!±箜垫兰垒塑竺兰塾塑望堕兰查垒望垒茎