Hadoop副本放置策略.pdf

  1. 1、本文档共8页,可阅读全部内容。
  2. 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多
第8卷第6期 智 能 系 统 学 报 Vo1.8No.6 2013年 12月 CAAITransactionsonIntelligentSystems Dec.2013 DOI:10.3969/j.issn.1673—4785.201210036 网络出版地址:http://www.cnki.net/kcms/detailf23.1538.TP1508.003.html Hadoop副本放置策略 邵秀丽 ,王亚光 ,李云龙 ,刘一伟 (1.南开大学信息技术科学学院,天津300071;2.北京大学数学科学学院,北京 100871) 摘 要:分布式文件系统 (Hdfs)采用随机的副本放置策略使得系统在运行一段时间后会出现数据分布不均衡的情 况,从而降低数据的可靠性和读取速率.为解决Hdfs默认副本放置策略存在的问题,对Hdfs副本放置策略进行改进: 在副本放置选择时优先考虑存储使用率低的节点.模拟实验一测试了机架数 目对于算法的影响,结果显示改进后的 副本放置策略中,机架数 目对集群的均衡性影响很小,显示出较好的均衡性.模拟实验N试 了随着写入数据的增 加,比较了使用改进前后的副本放置策略集群中节点使用率的标准差,证实了改进后的副本放置策略在存储均衡方 面较原放置策略有着更好的表现. 关键词:云存储 ;Hdfs;副本放置;存储均衡;存储节点 中图分类号:TP399 文献标志码:A 文章编号:1673—4785(2013)06—0489—08 中文引用格式:邵秀丽。王亚光,李云龙。等.Hadoop副本放置策略[J].智能系统学报,2013,8(6):489—496. 英文引用格式:SHAOXiuli,WANGYaguang。LIYunlong,eta1.ResearchonthereplicaplacementstrategyofHadoop[J].CAAI TransactionsonIntelligentSystems,2013。8(6):489-496. Research on thereplicaplacementstrategy ofHadoop SHAO Xiuli,WANG Yaguang ,LIYunlong ,LIU Yiwei (1.CollegeofInformationTechnologyScience,NankaiUniversity,Tianjin300071,China;2.CollegeofMathematicalSciences,Pe— kingUniversity,Beijing100871,China) Abstract:Hadoop distributedfilesystem appliestherandom replicaplacementstrategy,whichcausesunbalanced datadistributionafterthesystem hasoperated forawhile,resultingin loweringthedatareliability andreading speed.InordertoeliminatethedefectofthereplicaplacementstrategydefaultedbytheHdfs,thestrategywasim— proved.Whentheplacementlocationofareplicaisselected,anodewithalow storageanduseratewillbeconsid— eredasapriority.Thefirstsimulationexperimenttestedtheeffectscausedbythenumberofracksonthealgorithm. Theresultsshow that,fortheimprovedreplicaplacementstrateyg ,thenumberofrackshaslittleimpactonthee— quilibrium o

文档评论(0)

lizhencai0920 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

版权声明书
用户编号:6100124015000001

1亿VIP精品文档

相关文档