- 1、本文档共5页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
基于NoSQL的海量航空物流小文件分布式多级存储方法.pdf
第34卷第5期 计算机应用研究 V01.34No.5
2017
2017年5月 Researchof May
Application Computers
基于NoSQL的海量航空物流
小文件分布式多级存储方法术
丁建立3…,郑峰弓8,李永华8,罗云生8,曹卫东钆6
(中国民航大学a.计算机科学与技术学院;b.天津市智能信号与图像处理重点实验室,天津300300)
摘要:为了解决航空物流领域海量小文件存储效率和访问效率不高的问题,提出一种基于NoSQL的海量小
文件分布式多级存储方法。充分考虑到数据的时效性、本地性、操作的并发性以及文件之间的相关性,先根据相
关性将文件合并,然后采用分布式多级存储,使用内存式Redis数据库做缓存,HDFS做数据的持久化存储,其过
程采用预取机制。实验结果表明,该方法有效提高了小文件的存取效率和磁盘的利用率,显著地降低了网络的
带宽占用和集群NameNode的内存消耗,适合解决航空领域海量小文件存储问题。
关键词:小文件;Redis;HDFS;多级存储;预取机制
中图分类号:TP311 文献标志码:A 文章编号:1001.3695(2017)05-1433·04
doi:10.3969/j.issn.1001—3695.2017.05.035
Method ofmassive
ofdistributedmulti.1evel
storage
small basedon
filesofair
logistics NoSQL
Weidon98’。
DingJianli8一,ZhengFenggon93,LiYonghua8,LuoYunshen98,Cao
Advanced Aviation
of Processing,CivilUniversityofChina,
(a.CollegeComputerScienceTechnology,b.TianjinKeyLaboratoryfor Signal
300300,China)
Tianjin
ordertosolvethe ofinefficientandinefficientaccessofmassivesmallfilesinthefieldofavia‘
Abstract:In problem storage
filesbasedon
tion amethodofdistributedmulti—level ofmassivesmall NoSQL,which
logistics,thispaperproposed storage
consideredthedata data
文档评论(0)