共享对象存储并行文件系统元数据管理研究.pdf

共享对象存储井行文件系统的元数据管理研究；摘要 摘要 当前的高性能计算已经由传统的主机方式逐渐向机群方式演变．机群体系结构的采 用一方面使得系统的计算能力大大加强，另一方面也对当前的存储系统提出了更高的要 求；在保证数据共享和易管理性的前提下，要求存储系统在存储容量和I／O性能方面具 有很好的可扩展性。传统的基于主机的存储架构已经远远不能满足这些要求，研究新的 存储体系结构和相应的文件系统具有十分积极的意义。本文基于对象存储系统，提出一 种新的共享对象存储设备的并行文件系统 命名为SOPFS 设计，其目标是为高性能计 算机群提供高性能、可扩展、高可用的机群存储系统．在文中给出了SOPFS的总体描 述，内容包括分布元数据管理、并行数据访问等关键技术；结合SOPFS中动态散列分 区的元数据组织方法，设计实现了元数据的访问管理；针对高性能并行计算中经常出现 的对同一文件，目录的高并发访问情形，提出了一种动态的元数据复制策略，通过多个存 放元数据副本的MDS同时响应对同一文件元数据的并发访问请求，提高了高并发访问 情形下的元数据访问效率；利用SOPFS的结构优势，即文件系统的数据通路与控制通 路分离，提出了懒惰的元数据更新策略，使得文件元数据的更新独立于文件数据读写过 程，进一步保证了高的I／O吞吐率；在SOPFS中设计实现了元数据的事务日志机制，以 提高系统的可用性和提供系统的快速失败恢复能力． 关键词对象存储并行文件系统元数据懒惰更新事务日志 共享对象存储并行文件系统的元数据管理研究：Abstract ResearchOnMemdam ofParallelFile Buildon Management System Shared De、rice Object-basedStorage Sun Lili ComputerArchitecture Directed By S埘Yuning Abstract： cluster contrasttOmonolithic evolvedas Nowadayscomputing，in supercomputers，has the dominant for high approachdevelopingperformance clusternot it’S tOscale only providesaggregatecomputingpower,butrequiresstoragesystem tO sizes ofdata and verylarge and耐brm卸∞without sharingmanaging． complicating traditional failtOmeet arcnow Since solutions such stOrage requirements；researchers andfile dedicatedonnew architecture structme． stOrage system Withthevision thesis ashared architecture，this ofobjectstorage pictures object-based device file isnamed storage SOPFS s：heredQbject-based parallelsystemsign,which device is aSacluster designed stroageEaraneEtle曲stm accordmgly．SOPFSstorage with and ofSOPFS high desigh systemhighperformance，scalableavailability．Abigpicture ofthis include： and80IIlgofks are inthethesis．Thecontnbutionsthesis keypointsdepicted A anddismbutionmethodinsidethemetadataserverclusternamed metada■organization basedOil mctadata metadataacc,ess DHP．A DynamicHashingPardtion DHP andpolicy filebasiswhich metadataaccess under replicationalgoritlⅡnper optimizing efficiencybursty access occurred in scientific enviromncnLA pattern parallel computin