大数据下MonoDB数据库档案文档存储去重研究.docVIP

大数据下MongoDB数据库档案文档存储去重研究-电气论文 大数据下MongoDB数据库档案文档存储去重研究 贺建英 （四川文理学院计算机学院，四川达州635000） 摘要：针对大数据下档案存储的现状，通过分析存储档案文档存在重复的原因，提出一种MongoDB存储档案文档的方法，利用MongoDB的GridFs统一处理不同类型和大小的文件，定义3个集合分别存储上传者记录、文件信息记录和分块文件内容，提出存储中通过文件MD5校验码值是否相同来进行去重研究，并实现去重的程序代码，有一定的实际意义。采用的分布式存储数据库增强了档案文档存储系统的可扩展性。实验表明，该方法能有效地去除重复的档案文档，提高查询效率。 关键词 ：MongoDB；MD5；大数据；档案文档去重；GridFs 中图分类号：TN911?34；TP311 文献标识码：A 文章编号：1004?373X（2015）16?0051?05 收稿日期：2015?03?20 基金项目：国家档案局项目：基于大数据的档案数据去重模型与方法研究（2014?X?65）；四川省教育厅一般项目：大数据环境下NoSQL数据库应用研究(14ZB0313） 0 引言 随着信息技术的飞跃发展，各国各地都在大力发展电子政务建设。在此环境下档案局