基于hash技术ext3目录索引机制改进.docVIP

基于hash技术ext3目录索引机制改进 　　摘要:针对当前广泛应用的ext3文件系统对超过一定长度的目录进行索引操作时,其性能明显下降的现象,首先对其原因进行了分析,提出一种基于hash技术的ext3目录索引问题的解决方案,并在此基础上给出了实现代码#65377;通过几种测试平台所获得的实验数据证明了该hash技术对解决ext3性能瓶颈的有效性#65377; 　　?す丶?词:哈希技术; ext3文件系统; 目录索引; B树 　　?ぶ型挤掷嗪?:TP316.89文献标志码:A 　　文章编号:1001-3695(2007)10-0229-03 　　 　　0引言?? 　　 　　Ext3作为RedHat公司默认的日志文件系统,其稳定性#65380;健壮行#65380;可恢复性都是被大家所公认的#65377;但同时ext3也有其不可回避的性能瓶颈,即对大小超过一定限度的目录(2.5 KB)进行目录索引操作时,性能会明显下降#65377;其原因在于ext3在进行目录索引操作时,采用的是线性方式查找目录项;在为新的目录项分配磁盘空间时,也是采用线性方式,其时间复杂度为??O(n)??#65377;目录项不多时性能影响不大,但是当目录的大小超过一定限度(2.5 KB)时,其性能下降明显#65377;Ext3以后的文件系统(如JFS[1]#65380;ReiserFS[2]#65380;XFS[3])在其设计之初就把目录索引问题考虑进去#65377;JFS#65380;XFS采用的是B+树的方式解决这个问题;ReiserFS采用的是更为快速的B*树的方式组织目录,时间复杂度均为??O??(log ??N??),其目录结构以B+或B*树的形式在磁盘上进行保存#65377; 　　?フ攵?ext3文件系统这个性能瓶颈,国内外的一些文献给出了解决方案#65377;Phillip的Htree[4]提出了一种树与hash技术相结合的解决方式,但是这种方式为了保持向后兼容,把在磁盘上用于保存树结构的块与原有ext3存放目录项的块混合;同时把保存树结构的块的状态标志为已使用,从而达到隐藏这个块的目的#65377;但是在系统崩溃或宕机时,采用上述处理方式,会使得系统恢复工具(如fsck等)在进行系统恢复时变得非常困难#65377;国防科学技术大学的乔龙川等人[5]提出了一种扩展hash技术解决方法,但是他们并没有给出具体实现以及评测,只是简单地在理论上比较了B树与hash技术的性能差异#65377; 　　?ピ谧芙崆叭斯ぷ鞯幕?础上,本文提出一种新的目录索引机制(HashedDir),避免了访问大目录时的线性查找#65377;HashedDir在第一次访问超过一定限度大小的目录时建立目录项的hash表,下次再访问相同的目录时,通过HashedDir就可以大大减小CPU开销以及查找时间#65377;相对于线性查找的时间复杂度??O(n)??,采用hash的方式,其时间复杂可以降为??O??(1)#65377;与此同时,对比JFS#65380;XFS#65380;ReiserFS等文件系统(其目录结构都是以B树的形式记录在磁盘上),采用这样的方式对原有ext3文件系统的目录结构没有影响#65377;因为建立hash表的操作都是在内存中进行的,这样设计也是向后兼容的#65377; 　　??HashedDir的主要开销在于第一次访问目录时,建立hash表所占用的时间及CPU开销,以及维持这个hash 表所需要的内存#65377;但如果这个目录在随后的过程中频繁地被访问,那么先前为了建立这个hash 表所付出的代价会随着访问次数的增加而逐渐被抵消#65377; 　　 　　??1HashedDir实现 　　 　　??HashedDir在第一次访问大小超过一定限度的目录时,会建立对应于这个目录的hash表;以后随着目录项的改变,对应的hash 表会作相应的调整#65377;使用这个hash 表进行目录索引时,性能会明显提高#65377;同时每个HashedDir维护了一份针对本目录内每个目录块剩余空闲磁盘空间信息的数据结构#65377;所以当新增一个目录项时,可以很快地为这个目录项找到空闲磁盘空间#65377; 　　??1.1Ext3传统的目录缓存name cache 　　?ト缤?1所示,在传统的ext3目录缓存结构中,最上层是name cache,它在vfs_cache.c中实现,提供一个全局意义上的的映射关系#65377; 　　?サ背晒Ψ梦誓骋惶趼肪?,这条路径及其对应的vnode结构就会被加入到全局name cache中#65377;无论是成功还是失败的访问,在name cache中都会有记录#65377;若下一次请求在name c