机群文件系统元数据访问行为分析与优化研究-中国科学院.docVIP

机群文件系统元数据访问行为分析与优化研究 邢晶1.2，马捷1 (1.中国科学院计算技术研究所 国家智能计算机研究开发中心,北京市 100080) （2中国科学院研究生院 北京市 100080） 摘 要: 机群系统已成为目前构建高性能计算机的主流系统，而提高机群系统中负责提供IO服务的机群文件系统性能是构建高性能计算机的关键。本文以提高机群文件系统的元数据处理性能为出发点，通过采用统计和踪迹剖析两种方式来分析元数据访问行为，得到的元数据访问规律如下：1，元数据只读操作在机群文件系统的元数据实现中所占比例高达64.6%；2，涉及目录对象的操作在元数据实现中占较高比例，达17%；3，对元数据进行操作包含一个冗长的定位过程。利用元数据访问行为分析的结论，我们对LionFS元数据服务器的实现进行了优化，测试结果表明优化后的元数据处理性能比优化前提高了30%，证明了该研究的有效性。 关键词: 机群系统；机群文件系统；元数据 Metadata access pattern analysis and optimize research on cluster file system Title Xing Jing1,2, Ma Jie1 （1., Institute of computing technology Chinese academy of science, 100080, China）（2., 100080, China） Abstract: Improving metatdata processing has become an important issues in cluster file systems, in this paper, we introduce a new way to achieve it: using the conclusion of analyzing metadata access pattern of cluster file system to instruct designing and optimizing metadata implementation.We use two ways to analyse the metadata behavior: access statistics and profiling analyse. After analyzing 5 kinds of file system behaviors, following conclusions are got: 1, metadata reading operations occupy 64.6% of all the operations, which indicate reading operations should be paid more attention; 2,operations related to directory object occupy 17% , which means directory metadata plays a important rule in metadata processing; 3, locating the metadata is a verbose procedure but is needed for each processing time, changing the method of locating to be a simple one will improve the performance of metadata processing. Based on the conclusion, the LionFS cluster file system was optimized. The mdtest benchmark result shows that after optimization, performance improves 30%, which proves the validity of our research. Key words: cluster；cluster file system；metadata 前言 随着网络技术的飞速发展、信息量的与日俱增，计算机存储逐渐成为人们关注的焦点，在高性能计算机的机群系统领域，和存储相关的机群文件系统也得到科研人员更多的重视。 在机群文件系统中，元数据处理的性能优劣对文件系统的性能影响很大。在元数据操作密集的情况下，元数据的处理能力甚至会成为制约文件系统的瓶颈，因此如何提高元数据处理能力是当前机群文件系统的一个研究重点。 通常提高元数据处理能力有这样几