基于跟踪统计的并行IO+测试方法及实现研究.pdfVIP

2008年伞围高性能计算学术年会 基于跟踪统计的并行I／O测试方法及实现 曹立强 罗红兵 (北京应用物理与计算数学研究所北京100088) ar．crt) (clq，hbluo@iapcm 摘要：当前国内外有许多并行I／O测试程序， words：ParallelI／OBenchmark；I／O Key tracing 它们使用了采样式的测量方法。，该方法有两方面 performancesampling；Prolbandwidth 的缺陷其一，测试结果过于简化，用户得不到 I／O过程内部的性能。其二，测试精度依赖于采 1 引 言 样点数量。，在本文中，我们提出了I／O过程中的 剖面带宽概念。它反映了文件系统服务I／O过程 并行I／()已经在当前的高性能计算领域得到 不同阶段的能力我们设计了跟踪统计的测试 广泛应用，它是一个综合了内存、高速通信和外 方法，并在测试程序ProPmndwidth中实现．．实践存设备，包含并发控制的层次化系统、实践表明， 证明，新的测试程序不仅获得并行I／O系统的剖 并行文件系统读写性能与系统状态之间有紧密联 面带宽，还缩短了并行I／0测试的时间，提高了 系，全面评价文件系统带宽有一定难度。分析现 测试效率。， 有文献，详细的并行I／()带宽评测T作不仅要求 关键词：并行I／O测试程序I／O跟踪性能采 全面衡量并行I／()系统的性能与性质，还要求能 样Protbandwidth 够给设计师和用户以性能上的提示，促进并行I／() 的发展与利用…、 Profbandwidth：aTraceBased 当前国内外有许多测试程序用于并行I／()测 ParallelI／0Benchmark试，例如IOR”【、Coll_ped…和b_effio”】等。它们 CAO LUO 或测试P()SIX接口I／0性能，或测试MPI—I／()接 Li--qiangHong—-bing (Institute and 口性能，等等，虽然有多种测试程序，但是这些 ofAppliedPhysicsComputational 程序通过同定数掂规模计算I／0时间统计性能， Mathmatics，Beijing，100088) accn) 将I／0过程作为黑盒处理，本质上是一种采样式 (clq．hbluo@iapcin Abstract：Thecurrent I／Obenchmarksare 的测量方法。这种测试方法有几方面的缺陷： parallel basedon andtaketheI／O asa 其一，测试结果与测试规模相关，不能全面 sampling procedure blackboxHowever．therearesomedefectsin 的比较文件系统性能。为了获得可比较的带宽数 The resultsaretoo 值，采样法往往要求测试者使用两倍内存以上的 samplingfirst，sampling simple foruserswhowanttoknOWmoreaboutI／O 规模测试。这种测试方法排除了文件系统缓存的 second，the oftestresult 干扰，但是只能获得外存设备作用下的文件系统 procedures．Theprecision