基于MongoDB集群遥感数据存储方法研究.PDFVIP

第３１卷第２期 四川理工学院学报（自然科学版） Ｖｏｌ３１　Ｎｏ２ ２０１８年４月 ＪｏｕｒｎａｌｏｆＳｉｃｈｕａｎＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅ＆Ｅｎｇｉｎｅｅｒｉｎｇ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ） Ａｐｒ２０１８ 文章编号：１６７３１５４９（２０１８）０２００８９０７ ＤＯＩ：１０．１１８６３／ｊ．ｓｕｓｅ．２０１８．０２．１４ 基于ＭｏｎｇｏＤＢ集群的遥感数据存储方法的研究 １ ２ 李宏志 ，李苋兰 （１．滁州学院信息学院，安徽 滁州 ２３９０００；２．福建师范大学光电与信息工程学院，福州 ３５００００） 　　摘　要：随着遥感探测技术的发展，遥感数据的数量和质量都在逐步提高，如何有效地存储和管理 这些数据成为当前研究的重点。应用ＭｏｎｇｏＤＢ非关系型数据库，提出了一种基于ＭｏｎｇｏＤＢ数据库集群 的遥感数据的储存方法，设计了影像文件与元数据分离存储的策略；并对ＭｏｎｇｏＤＢ集群数据分片的片键 机制进行了深入研究，根据遥感数据的特点提出了基于“升序键＋搜索键”数据分片方案，通过应用哈希 一致性算法改善集群间数据分布均匀性，通过分布式的内存缓存提高遥感数据的检索效率，并实现了基 于此方法的架构模型。最后针对所提出的存储方法设计了测试方案并进行了对比测试实验，实验结果 表明该存储方法能够较好地提高遥感数据存储和检索的性能，适用于遥感领域的数据存储。 关键词：遥感数据；ＭｏｎｇｏＤＢ集群；片键策略；哈希一致性；存储模型 中图分类号：ＴＰ３１９ 文献标志码：Ａ 据和遥感影像文件分开存储和管理，由ＭｏｎｇｏＤＢ存储非 引 言 结构化的元数据，ＨＤＦＳ分布式文件系统负责存储大规 高精度的遥感数据作为一种大容量的信息载体，在 模的影像文件。这种存储方案需要维护元数据和影像 国土勘测和军事安全方面有着重要的作用。随着我国 文件的对应关系，同时涉及到的技术较复杂，不便于维 的航天遥感技术的发展，遥感数据的数量和质量都在逐 ［８］ 护；赖积保等 提出了基于云计算的遥感影像存储模型 步的提高，单个的遥感文件可达到数百ＭＢ，甚至达到数 ＲＳＣ－ＤＯＭ，该模型采用改进的遥感数据直接存储方式， ＧＢ的大小，如何高效且安全地存储和管理这些遥感数 实现了对遥感数据的分布式管理，但应用场景要求数据 据已成为当前空间信息科学领域的重要研究方向。 ［９］ 是均匀分布的，因此具有一定的局限性；秦强等 提出 由于ＭｏｎｇｏＤＢ集群在存储和管理遥感数据方面具 了基于ＭｏｎｇｏＤＢ的遥感数据存储方案，通过 ＮｏＳＱＬ技 ［１３］ ［１０］ 有一定的优势 ，使得基于ＭｏｎｇｏＤＢ集群在遥感数据 术实现了非结构化的遥感元数据的存储；梁海等 提出 存储方面的研究成为热点。文献［４－６］详细介绍了使 了通过ＭｏｎｇｏＤＢ的分片技术提高数据库的读写性能和 用ＭｏｎｇｏＤＢＧｒｉｄＦＳ分布式文件系统存储和管理影像图 效率。本文在上述研究成果基础上提出了基于高速缓 ［７］ 片文件的方法；田帅 提出了一种基于 ＭｏｎｇｏＤＢ和 存和ＭｏｎｇｏＤＢ数据库的存储模型，底层存储模块采用 ＨＤＦＳ的大规模遥感数据存储方案，该方