Lustre设置优化分析.docVIP

PAGE PAGE 1 Lustre设置优化分析 　　摘要：在影响Lustre文件系统读写性能的因素中，Lustre文件系统的自身设置是非常重要的，所以研究Lustre文件系统的性能就需要在这个方面进行详细的实验测试，并根据实验结果进行分析，才能提出更符合应用需求的Lustre文件系统读写优化方案。 　　关键词：Lustre；读写；性能优化 　　中图分类号：TP316文献标识码：A文章编号：1007-9599（2012）20-0000-02 　　基于Linux的不同文件系统，都有其不同的特点与应用场景，NAS系统的特点是可以通过便利的管理方式实现简单的操作，然而其缺点是扩展性差，不能够满足大容量的文件分析处理；SAN实现的系统拥有较好的数据传输性能以及可扩展性，然而却无法实现跨平台的数据共享访问，所以为了更好的解决NAS以及SAN系统的不足，并且更好的利用其优点，就逐渐形成了Lustre文件系统，实现了数据高速访问的同时，也提高了数据文件的简单化管理以及共享性操作，极大的提高了数据的存储操作效率。 　　在Lustre自身设置的各个不同方面中，最影响系统性能的两个方面是OST（条块数）以及如何条块化，这也是Lustre文件系统并发I/O操作提升性能的关键因素。在Lustre文件系统实际应用时，条块数这一关键参数是在系统的初始化时即配置的，主要体现在三个不同的配置层面，分别是stripecount（分条块数），stripesize（条块大小），start-ost（起始块数）。当分条块数的值赋予-1时，表示在OST上实施条块的分割，以确保I/O能够获得最大化的操作并发性能；当起始块数设置为-1时，表示不指定OST，实现了负载的均衡；而条块大小写的大小通过会根据测试应用的实际需求设置不同的值。 　　1条块大小测试 　　在Lustre文件系统应用时，由于条块的大小能够影响到Lustre文件系统的读写操作性能，所以在验证影响Lustre文件操作性能的实验时，也必须对条块的大小对聚合带宽的影响进行相应的测试。在验证实验时，分别测试了Lustre文件条块由小逐渐增大过程中Lustre文件系统读写的聚合带宽的改变及读写效率的差异，如表1所示为实际测试条块大小对Lustre文件系统聚合带宽影响的实验数据。 　　通过实验测试表格可知，当条块大小逐渐增大时，会使得Lustre文件系统的读写聚合带宽都降低，进而影响Lustre文件系统的操作性能。为了更好的发挥出Lustre文件系统的整体性能，在实际应用时最好设置比较小的条块，才能更好的增加系统的并发性，进而增加系统的聚合带宽，增加使用的性能。 　　由图1可知，当Lustre条块大小逐渐增时，其聚合宽带参数则逐渐出现下边的趋势，由此可以看出，为了更好的发挥出Lustre文件系统的整体性能，在实际应用时最好设置比较小的条块，才能更好的增加系统的并发性，进而增加系统的聚合带宽，增加使用的性能。 　　2条块数差异测试 　　在Lustre文件系统应用时，影响Lustre文件系统性能的自身设置除了条块的大小，条件数的不同也能够影响到Lustre文件系统的读写操作性能，所以在验证影响Lustre文件操作性能的实验时，也必须对条块数的不同对聚合带宽的影响进行相应的测试以验证条块数的不同对聚合带宽的影响。在验证条块数对Lustre文件系统性能影响实验时，分别验证测试了Lustre文件条块数小逐渐增多过程中Lustre文件系统读写的聚合带宽的改变以及读写效率的差异，如表2所示为实际测试条块数不同对Lustre文件系统聚合带宽影响的实验数据。 　　由表2条块数的不同对Lustre文件系统读写聚合带宽的影响可知，在现有的实验条件下，Lustre文件系统的文件条块数的增加会使得其读写聚合带宽呈递增的趋势。为了能够更好的反应Lustre文件系统应用时文件条块数的不同对文件读写操作性能的影响，绘制了如图2所示的读写文件条块数不同对Lustre文件系统性能测试影响结果。 　　由图2可知，在Lustre文件系统条块大小固定时，当条块数不断增加时，其聚合带宽也是逐渐趋于上升的态势，由此可知，当条块数目设置为1时，Lustre文件系统无并发性，聚合带宽也最低，但是当条块数逐渐增加时，Lustre系统并发性能以及聚合带宽都在提升，所以只要合理设置条块数的大小，会对Lustre文件系统性能带来更有利的发展局面。 　　3性能优化策略 　　根据影响Lustre性能的因素及条件分析可知，影响Lustre文件读写性能的原因是多方面的，然而却有几个比较重要的方面，如果能够在这几个方面进行相应的优化设置，则会在一定程度上提升Lustre文件系统的文件操作读写性能，如图3所示为Lustre文件系统性能优化策略结构图。 　　根据图4可以发现，Lust