神威蓝光计算机轻量级文件系统LWFS的优化和测试.pdfVIP

神威蓝光计算机轻量级文件系统LWFS的优化和测试 何晓斌 蒋金虎魏 巍 王晞阳 国家并行计算工程技术研究中心 北京 100080 摘要：随着高性能计算机进入千万亿次时代，其存储系统所面临的扩展性难题更加突出，为了提高存储 系统扩展性，一些高性能计算机使用了IO转发机制。该机制在全局存储和计算节点之间构建了一个转发 层，计算节点的IO请求首先到达转发层，并由转发层在全局存储系统上执行。轻量级文件系统(Light WeightFileSystem，LWFS)是一种适用于通用架构的转发系统，目前已经在神威蓝光计算机系统等多个 高性能计算系统中得到了应用。本文针对LWFS的单客户端性能和聚合性能，提出了两种优化LWFS性 能的方法，一种是数据缓存技术，另外一种是动态的数据服务节点调度技术，测试表明，前者能提供 LWFS但客户端性能10％左右，后者能实现聚合性能的线性增长。 关键词：高性能计算；IO转发；轻量级文件系统；优化 AcceleratingandEvaluationofLWFSinSunwayBlueLightComputerSystem HeXiao-bin JiangJin-hu WeiWei WangXi-yang NationalConcurrentCompnterEngineeringResearchCenter Beijing 100080 Abstract:Scalabilityofstoragesystemismuchmorepronouncedwhentheperformanceofhighperformance computerexceedsPeta-flops.TheIOforwardschemehasbeenadoptedbysomeadvancedhighperformance computerforimprovingthescalabilityofstoragesystem.Inthisscheme,IOrequestwillbetransmittedto forwardinglayer,serverinforwardinglayerthenretransmittheserequeststoglobalstorage.LWFS implementedIOforwardingfunctionbasedonforgeneralarchitecture,hasbeenadoptedbyseveral supercomputerssuchasSunwayBlueLightComputerSystem.Acoupleofmethodsarepromotedforoptimizing singleclientperformanceandaggregateperformanceofLWFSinthepaper.Oneisdatacachingtechnology,the otherisdynamicservicenodesschedulingtechnology.Thetestingindicatesthattheformercanincreasesingle clientperformanceabout10％,andthelattercanachieveaggregateperformanceoflineargrowth. Keywords:HPC;IOForwarding;LWFS;Accelerating ^7‘__L^J，‘≮斗lelI 加了数据亩 }访问全局j 二∥I从I贝¨7． 氨载，为计： ，片 T、l，口a． 1个核）的募 进程吞吐能 HenryM. rall~l Filesy luster En