实现高性能并行I／O的途径.pdfVIP

1998年 10月 计算机工程与科学 第 20卷 第Al期 Oct. 1999 COMPUTER ENGINEERING SCIENCE Vol.20 No.A l 实现高性能并行1/O的途径’ ApproachestoImplementing High-PerformanceParallel1/O 衰维忠 YuanWeizhong (江南计算技术研究所) (JiangnanInstituteofComputingTechnology) 摘 要 MPP机的I/0的瓶颈现象正在加剧。本文权述了瓶颐现象加剧的原因和解决的一般方 向，玄点关注高性能并行1/O子来统的实现途径，特别是结构、硬件和操作系眺/文件未统的设计问题。 ABSTRACT TheI/0bottleneckforMPPhasarised.Thispapersketchesthereasonsofthehot- tleneckandthecommontechniquestosolvingit.Wefocusontheapproachestoimplementinghigh-per- formanceparallelI/Osubsystems,especiallythedesignissuesofarchitecture,hardwareandOS/filesys- te幻1- 关.词 1/0节点，魔价It.余减盆咔列，运行时间A.bt,局域FI, KEYWORDS 1/0 node,RAID,runtimesystem,LAN. 一、前 言 当今，世界上MPP机的发展异常迅猛，但其f/0系统性能的提高却并没有如此令人鼓舞，事实表 明，I/O的 “瓶颐效应”更加剧烈，愈发成为MPP机发展的制肘技术了。由此，近年来对在分布式并 行处理中提高f/O性能的研究引进人们的极大兴趣，甚至首次超过了对CPU性能的关注.分析1/O “瓶颈效应”加剧的原因，主要有四点:一是半导体技术按Moore定律以每十八个月集成度增加一倍的 速度发展，使CPU的发展速度神奇，而I/O设备受制于机构部件，发展相对缓慢;二是现代的大规模 并行计算技术能使成千上万的CPU协同工作，使运算速度与I/O能力更加不平衡;三是组装连接问题， MPP机仍主要使用并行电缆连接 1/0设备，在组装距离和规模上都限制了1/0的带宽的增加，四是一 J 。 些新的应用课题，如多媒体、虚拟现实和重大挑战性问题等，对1/0提出了更高的需求。 针对上述原因，人们为改善I/0性能提出了很多技术方法，主要有以下四种 ·进行数据的局部性优化和有效的数据CACHE; ·使数据访问与运算重叠; ·改善调度算法，提供强有力的数据访问调度; 1998年 8月 蠢21f40粼83M鑫5419t7i0ll默M35AMtE.3M32INq=RiM，在职硕士生，研究方向为计算机1/O和通信· 28 ·并行化访问数据. 其中并行化访问能给1/0性能带来意想不到的效果，是当今高性能 1/0研究的重点及难点。本文 主要讨论并行1/0的系统结构、硬件和软件的设计途径。 二、系统结构 1专用1/0节点 这种结构在全机的节点中设置一类节点，专门用作 1/0，如图1所示。1/0节点具有CPU及 CACHE、大容量存储器和连到1/0设备的高速接口，运行设备管理程序甚至运行文件系统。这种结构 硬件实现简单，能产生较高的1/0能力;系统配置灵活，易于重新配置。但由于是专用节点，开发费用 高;当系统运算节点数大时，1/0节点负载重，对1/O节点的处理能力期望值太高.更不理想的是1/0 传输占用互联网的带宽且可能跨越作业分区，影响运算节点间通信。特别是当个别作业分区失败时，还 可能导致其它作业分区1/0访问的不成功 (即分区间有干扰). 2 全分布