基于MongoDB海量地形小文件入库优化方法.pdfVIP

／技术应用 文章编号：1672—1586(2014)06-0072-05 中图分类号：P2；TP392 文献标识码：B 基于MongoDB海量地形小文件入库优化方法 许伟平 ，吴 晨 ，朱 庆 ，张叶廷 ，谢 潇 ，熊 庆 ，何 峰 (1．武汉大学 测绘遥感信息工程国家重点实验室，湖北 武汉 430079；2．西南交通大学 地球科学与环境工程学院，四川 成都 611756) 基金项 目： 【摘要】针对关系型数据库无法满足海量地形小文件存储的高效性和扩展性，非关系型数据库通过最终一 国家 科技支撑 计划项 目 致性保证了高效的入库效率和可扩展架构，但存在入库安全隐患的现状。本文提 出了基于非关系型分布式数 (2012BAH35BO2)资助 ； 国家 自然科 学基金项 目 据库MongoDB的海量地形小文件入库优化方法。该方法充分发挥MongoDB~存文件映射方式带来的性能优势， 资助；青年科 通过客户端周期性阻塞实现内外存同步，以保证海量地形小文件并发写入的安全性；将入库的文件信息批量 学基金项 目资 写入 日志，支持工程级别的数据库 回滚 ，以保持数据库的正确性。通过客户端周期阻塞与 日志批量入库的协 助 ；绿洲 生态教 育部 重 同，极大地保证了地形高效入库的安全性。 点实验 室开放课题项 目 【关键词】地形；并发写入 ；入库安全 ；MongoDB (X]DX0201—2013一O1)资助 作者简介： StorageOptimizationM ethodforM assiveTerrainSmallFilesBasedonM ongoDB 许伟平 (1988一)，男，安徽 Database 安庆人，摄影测量与遥感 专业博士研究生，主要研 XUWeipin，WUChen，ZHUQing ，ZHANGYeting，XIEXiao，XIONGQing，HEFeng 究方向为实时GIS。 (1．StateKeyLaboratoryofInformafionEngineeringinSurveying，MappingandRemoteSensing，Wuhan University，Wuhan430079，China；2．FacultyofGeosciencesandEnvironmentalEngineering，Southwest E—mail： JiaotongUniversiyt，Chengdu，611756，China) xuweipin123456@163．com 收稿 日期：2014．08-11 Abstract：Relationaldatabasescannotsatisfy theefficiencyandscalabilityofstoringmassiveterrainsmallfiles． Non-relational databasesguaranteetheefficientstorageandscalablerachitecturethrougheventualconsistency，but itconfrontssecurityriskswhenstoring．Thispaperproposesthestorageoptimizationmethodformassiveterrain smallfilebasedonnon-relationaldistributeddatabaseM ongoDB．Thismethodmakesfulluseoftheperformance advantageofm