Hadoop副本放置策略.pdf

第8卷第6期 智 能 系 统 学 报 Vo1．8No．6 2013年 12月 CAAITransactionsonIntelligentSystems Dec．2013 DOI：10．3969／j．issn．1673—4785．201210036 网络出版地址：http：／／www．cnki．net／kcms／detailf23．1538．TP1508．003．html Hadoop副本放置策略 邵秀丽 ，王亚光 ，李云龙 ，刘一伟 (1．南开大学信息技术科学学院，天津300071；2．北京大学数学科学学院，北京 100871) 摘 要：分布式文件系统 (Hdfs)采用随机的副本放置策略使得系统在运行一段时间后会出现数据分布不均衡的情 况，从而降低数据的可靠性和读取速率．为解决Hdfs默认副本放置策略存在的问题，对Hdfs副本放置策略进行改进： 在副本放置选择时优先考虑存储使用率低的节点．模拟实验一测试了机架数 目对于算法的影响，结果显示改进后的 副本放置策略中，机架数 目对集群的均衡性影响很小，显示出较好的均衡性．模拟实验N试 了随着写入数据的增 加，比较了使用改进前后的副本放置策略集群中节点使用率的标准差，证实了改进后的副本放置策略在存储均衡方 面较原放置策略有着更好的表现． 关键词：云存储 ；Hdfs；副本放置；存储均衡；存储节点 中图分类号：TP399 文献标志码：A 文章编号：1673—4785(2013)06—0489—08 中文引用格式：邵秀丽。王亚光，李云龙。等．Hadoop副本放置策略[J]．智能系统学报，2013，8(6)：489—496． 英文引用格式：SHAOXiuli，WANGYaguang。LIYunlong，eta1．ResearchonthereplicaplacementstrategyofHadoop[J]．CAAI TransactionsonIntelligentSystems，2013。8(6)：489-496． Research on thereplicaplacementstrategy ofHadoop SHAO Xiuli，WANG Yaguang ，LIYunlong ，LIU Yiwei (1．CollegeofInformationTechnologyScience，NankaiUniversity，Tianjin300071，China；2．CollegeofMathematicalSciences，Pe— kingUniversity，Beijing100871，China) Abstract：Hadoop distributedfilesystem appliestherandom replicaplacementstrategy，whichcausesunbalanced datadistributionafterthesystem hasoperated forawhile，resultingin loweringthedatareliability andreading speed．InordertoeliminatethedefectofthereplicaplacementstrategydefaultedbytheHdfs，thestrategywasim— proved．Whentheplacementlocationofareplicaisselected，anodewithalow storageanduseratewillbeconsid— eredasapriority．Thefirstsimulationexperimenttestedtheeffectscausedbythenumberofracksonthealgorithm． Theresultsshow that，fortheimprovedreplicaplacementstrateyg ，thenumberofrackshaslittleimpactonthee— quilibrium o