毕业论文：基于hdfs的云灾备存储系统——可靠存储及负载均衡方法研究.docVIP

毕业论文：基于HDFS的云灾备存储系统——可靠存储及负载均衡方法研究 毕业论文：基于HDFS的云灾备存储系统——可靠存储及负载均衡方法研究 毕业论文：基于HDFS的云灾备存储系统——可靠存储及负载均衡方法研究:2013-8-15 17:54:55毕 业 设 计 论 文题目： 基于HDFS的云灾备存储系统——可靠存储及负载均衡方法研究 院（系） 　　　计算机科学与技术　　　 专 业 　　　 网络工程　　 　 届 别 　　　 2012　摘 要 随着计算机技术及因特网技术的发展，数据信息已成为现代企业以及每个人的重要资源，数据的丢失或被窃取将带来重大的损失，数据的安全存储及备份显得尤为重要。本文设计一个基于Hadoop的云灾备存储系统来存储数据。论文采用在Linux虚拟机上创建hadoop分布式文件系统，由分布式系统管理并备份用户的数据。分布式系统由一个名字节点和多个数据节点构成，名字节点对数据的存储进行管理，而数据节点则负责数据的物理存储。为了防止名字节点的故障导致系统的崩溃，必须配置一个第二名字节点来作为冗余并定时处理保存名字节点的系统日志。为了数据的安全备份，必须把数据复制为多个副本存储在多个数据节点上。系统不仅要实现海量数据的存储，同时也要实现海量用户的的管理。为了防止某个数据节点的负载过重，导致用户的操作延迟太大，还必须处理好系统数据节点的负载均衡，使海量用户能够同时流畅的访问hdfs系统。本文，通过配置多台数据节点，并在名字节点上设置一个文件要保存的副本数，来实现数据的安全备份，用户数据分为多份存储在不同的服务器上。名字节点则通过一张排序表来控制用户访问数据时是由哪个数据节点负责响应，排序表实现了负载低的数据节点首先响应用户的访问，从而达到各数据节点的负载均衡。关键词：Hadoop；云灾备；可靠存储；负载均衡ABSTRACTWith the development of computer technology and Internet technology, information has become a modern enterprise as well as important resources for everyone.So data’s lost or stolen will bring a significant loss. Secure storage and backup of data is particularly important. This paper designed a cloud disaster recovery storage system witch based on Hadoop to store data.Paper using the Linux virtual machine to create a hadoop distributed file system, distributed systems management and backup the user’s data. The distributed system consists of a namenode and multiple datanodes, the namenode manage the data’s storage.And the datanode is responsible for the physical storage of data. In order to prevent the namenode’failured led to the collapse of the system, we should configure a secondary namenode as the namenode’s redundancy and regularly deal with save system log. For the security of data backup, data replication for the storage of multiple copies of multiple datanodes. The system must not only mass data storage, but also mass user’s management. In order to prevent the overloading of a datanode, which lead to the delay become too large for users operation, we must deal with th