san集群文件系统性能优化研究与实现-research and implementation of san cluster file system performance optimization.docxVIP

StudyandImplementationofPerformanceOptimizationSANClusterFileSystemCandidate：XuXiangAdvisor：Prof.LuoYuAthesisSubmittedinpartialfulfillmentoftherequirementsforthedegreeofMasterofEngineeringinComputerScienceAndTechnologyGraduateSchoolofNationalUniversityofDefenseTechnologyChangsha，Hunan，P.R.ChinaNovember，2011独创性声明本人声吱l号呈交的学位论文是我本人在导萍捂导下进有的研究工作及职搏的研究成果。尽我所知，除了文中特J}ù如以称注和致谢的地方外，论文中其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文题目:Aν#群怨d飞仇:1坐船鼠的汗di毛的也学位论文件者签名:切均日期:)呵!年归1/白学位论文版权使用授权书本人完全了解回防科学技术大学有关保留、使用学位论文的规定。本人投权国防科学技术大学可以保留并向回家有关部门或机枪送交论文的复印件和文桔，允许论文被查阅和借阅;可t;J.;博学位论文的全部或部分内容编入有关数据库进行栓索，可以采j有影p、结p或拉撞等复羁寻摸保存、汇集学位论文结(保密学位吉它文在意奉告孟适用本授权书。)学位论文题自:AAlfi群三#irtu/Js?J()僻、.4-R.ilíe学位论文作者签名1乎每日期:XJ{(年lijJfI日作者指导教师签名.F每日期:)e1(年t(月1!日目录摘要iABSTRACTii第一章绪论11.1网络存储技术11.1.1网络附加存储11.1.2存储区域网21.1.3基于对象的存储25.2测试结论48第六章总结与展望496.1工作总结496.2下一步工作49致谢50参考文献51作者在学期间取得的学术成果54表目录表1.1不同网络存储系统比较4表3.1LevelIIOpLock协议示例29表3.2OpLock各种锁状态客户端的缓冲内容30表3.3CIFS的OpLock语义分析30表3.4SANFSOpLock缓冲内容定义32表3.5OpLock对FDMT的负面影响实例33表5.1NFS和SANFS双用户环境性能测试47表5.2SANFS单磁盘与RAID0性能比较47图目录图2.1CIFS模型9图2.2SANFS系统框架10图2.3SANFS软件结构13图2.4客户端软件结构13图2.5MDS软件结构14图2.6MDS建立设备标识信息流程17图2.7文件打开流程18图2.8文件读流程20图2.9文件写流程21图3.1FDMT数据结构23图3.2FDMT映射关系示意图24图3.3FDMT缓冲区位置示意图26图3.4带FDMT缓冲的I/O流程27图4.1RAID0工作原理38图4.2SANFS环境下的RAID039图4.3SANFSRAID0工作流程40图4.4GUAT通用存储设备对象格式41图4.5GUAT工作原理42图4.6SANFSRAID0地址转换机制43图5.1原SANFS典型问题45图5.2优化后的性能测试45图5.3单用户NFS性能测试46图5.4单用户SANFS性能测试46摘要本文在详细考察了SAN环境下的一种集群文件系统SANFS后，针对其性能方面的不足，设计并实现了几种提高系统性能的机制，并对这些机制进行了测试验证。SANFS通过改造CIFS协议，充分利用SAN环境下各主机可共享存储设备的优势，分离元数据流和数据流，大大提高了系统I/O吞吐率。由于系统中元数据FDMT对数据读写的重要性和分布式环境的特殊性，原SANFS没有妥善处理好其与OpLock的协调关系，导致性能表现不稳定，本文以提高系统整体性能为目标，以元数据安全性为出发点，通过详细考察FDMT在系统进行读写时与客户端和MDS的交互关系，提出了一种新的锁策略，通过它重新规定了FDMT的预取、预分配及废除机制，克服了性能不稳定问题。该锁机制统一由MDS端进行管理，它的特点概况起来如下：一，将FDMT的缓冲管理从文件数据OpLock下独立出来；二，在保证一致性的前提下，尽可能保证FDMT缓冲状态不被破坏，以提高FDMT缓存利用率；三，由于SANFS访问方式的变化，OpLock的“请求越新级别越高”的默认规则已不适用，在有写操作时尤其如此，新的锁策略对先到的操作所用的FDMT进行保护，从而减少系统性能的损失。利用SANFS下客户端可以以块设备方式直接访问磁盘的优势，在本系统内实现了软RA