面向地理信息系统的海量小文件存储系统设计和实现.pdfVIP

面向地理信息系统的海量小文件存储系统设计与实现 徐 叶 王 蕾 何连跃 李姗姗 吴庆波 国防科学与技术大学计算机学院 湖南 长沙 410073 摘 要：本文提出了一种面向地理信息系统的海量小文件存储系统设计与实现，扩展了分布式文件系统 HDFS，能够高效地存储海量小文件。本存储系统具有4个特性：1）支持海量小文件数据的分布存储；2） 分布放置海量小文件的元数据，消除单一元数据服务器造成的瓶颈；3）对小文件的元数据进行容错，以 应对节点失效带来的元数据丢失的问题；4）提供易用的小文件操作接口，使用户透明地访问小文件。经 过系统性能测试表明该系统能够很好地支持海量小文件的存储，并且系统经过优化后大幅地提高了小文 件的访问效率，增强了系统的可靠性。 关键字：海量信息；小文件存储；HDFS；容错；冲突检测 TP302.1 TheDesigningAndImplementingOfMassSmallFilesStorageSystemForGIS XuYe WangLei HeLianyue LiShanshan WuQingbo Computersciencedepartment,NationalUniversityofDefenseTechnology,Changsha Hunan410073 Abstract:Inthispaper,wepresentamassivesmallfilesstoragesystemforgeographicinformationsystem.The designandimplementationofthesystemisdiscussedintensively.Thesystem,whichisbasedonHadoop distributedfilesystem,hasfourfeatures.Firstly,thesmallfilesstoreddistributedinthefilesystem.Secondly, themetadataofsmallfilesaredistributedineachdatanode.Thisstrategyeliminatesthebottleneckcausedbythe singlenamenodeoforiginalHDFSdesign.Thirdly,ifonedatanodeisdown,themetadataofthesmallfiles storedinthisdatanodewillbelost.So,themetadataisreplicatedtodifferentdatanodeforfault-tolerant.Finally, thesystemprovidesuserfriendlyAPIforthesmallfilesaccess.Throughperformanceevaluation,itisshown thattheperformanceforthesmallfileaccessisabitlowerthanthebigfileaccess.Aftersystemoptimization, theefficiencyofthesmallfileaccessperformanceandthereliabilityofsystemaresignificantlyimproved,much betterthantheoriginalHDFS. Keywords:MassiveInformation；SmallFiles；Hdfs；Fault-Tolerant 性，能够部 l吞吐率。但 晷服务器上． 1所示． 罟索引信息t 人流。如图 储系统。 中，实瑚 布到各 ／1 在倦淮}藿 adyof D~c.2( oc.of [10]I shops, manag 6thIn ionof Am~lic