基于HDFS分布式存储策略分析.docVIP

基于HDFS分布式存储策略分析 　　摘 要：本文重点对HDFS机架感知和副本存放策略方面对HDFS分布式存储进行剖析。副本存放策略和机架感知主要通过Datanode节点形成的树状网络拓扑图来让Namenode节点获取，从而确定副本存放的位置，这样方式保证了对于数据的极高的容错性的同时也兼顾了数据本地化，即提高了数据在集群网络中的传输效率。基于此，提出一个设想，希望通过对副本存放策略的深入挖掘，根据Datanode数据节点的实时状态信息，实现对于数据块副本的定向存储，再由数据驱动任务分配，来为每一个Datanode数据节点分配更适合的任务，从而达到负载均衡提高资源利用率的作用。 　　关键字：HDFS；分布式存储；副本存放策略；数据驱动 　　中图分类号：TP391.41 文献标识码：A 文章编号：2095-2163（2015）05- 　　Abstract： This article focuses on the strategy of ReplicationTargetChooser and Rack-Awareness to analyze HDFS distributed storage. To realize the strategy of ReplicationTargetChooser and Rack-Awareness， the HDFS forms a network topology tree of Datanode primarily to let Namenode nodes determine the location of replication， in such a way to ensure that for extremely high data fault tolerance while taking into account the data locally， and to improve the efficiency of data transmission in the cluster network. Based on this， the paper proposes an idea， hope to learn more of the strategy of ReplicationTargetChooser， based on real-time status information Datanode nodes to achieve the orientation for the data block， data-driven task redistribution to Datanode data for each node assign tasks better suited to achieve the effect of load balancing and improve resource utilization. 　　Keywords： HDFS； Distributed Storage； Replications Strategy； Data-driven 　　0 引 言 　　在二十一世纪的今天，社会已处于信息时代，其中的每一天都会产生海量的数据，如何对这些海量数据进行存储和利用，即已成为信息科技工作者们频繁遭遇并日渐关注的热点研究问题。然而无论在存储空间，存储速度方面，还是在数据的存储安全方面，传统的文件系统都已经达不到时下的处理要求[1]。直到近年来Hadoop的出现，这一问题才获得了突破性的解决办法。Hadoop提出了一种存储和处理大规模海量数据的现实有效方案，正因如此，Hadoop受到了Google，Yahoo，亚马逊等知名IT公司的热捧，而国内的一些公司如腾讯、阿里、百度、华为等都将Hadoop作为公司处理海量数据的一种解决方案[2]。其中的HDFS分布式文件系统是Hadoop的核心组件，也是解决大规模海量数据存储和利用的重要技术手段。 　　因此，深入了解HDFS分布式文件系统的存储策略，对于未来应用与改善HDFS分布式文件系统有着重要意义。 　　1 副本机制 　　HDFS将每一个文件的数据进行分块存储，同时每一个数据块保存有多个副本，具体副本的个数可在hdfs-site.xml中dfs.replication属性中配置[3]。相应数据块副本分布在不同的机器节点上，这种数据分块存储+副本的策略即是HDFS保证可靠性和性能的关键，主要是因为： 　　（1）文件分块存储之后按照数据块来读，提高了文件随机读的效率和并发读的效率； 　　（2）保存数据块若干副本到不同的机器节点，在实现可靠性的同时，也提高了同一数据块的并发读效率； 　　（3）数据