hadoop平存储策略的研究与优化.pdfVIP

摘要 摘要 随着经济、社会以及科学技术的发展，数字信息正在经历爆炸式的增长。信 息化和互联网的发展以及廉价的存储设备的出现，为海量信息存储提供了动力和 物理基础。数据量比较小的时候，存储和备份数据比较简单，随着数据量达到TB 甚至PB级别，存储和备份如此庞大的数据成为一个棘手的问题，而且人们对数据 的存储效率和安全性的要求也在不断的提高。如何高效的存储和读取数据成为人 们关注的重点，云计算是目前比较成熟的方案，是对数据存储和数据安全的一个 有效解决办法，能够提高数据的安全性和存储速度。Hadoop是云计算里面比较流 行的框架，具体高可靠性、高效性、高扩展性和高容错性的优势。而且它是开源 框架，非常适合科研和应用，所以本文选择Hadoop框架作为云计算的研究对象。 DistributedFile 问题，分析其HDFS文件系统数据存储策略的局限和不足，提出了HDFS分布式 lostatFree 文件系统的优化存储策略DIFT(DstatTop)。DIFT存储策略利用更完善 的数据节点的状态信息作为策略依据，能够提高集群的磁盘和网络带宽的利用率， 减少瓶颈