华侨大学.docx

华侨大学毕业设计（论文）题目：分布式存储相关技术的研究学院：计算机科学与技术学院专业：网络工程届别：2012届学号：0825131033姓名：王慧指导老师：刘艳指导老师职称：副教授摘要：分布式存储技术因其能为用户提供安全、海量、随时随地的数据存储功能而得到了迅速的发展。本文首先介绍了有关分布式存储系统的一些概念及发展现状，其次介绍了有关云计算和云存储的有关知识，并详细介绍了云存储的结构，优势，发展现状以及涉及的关键技术等，让大家对云存储有大致的了解。接着介绍了Hadoop架构的一些知识，目的是对于这一开源项目有一定的了解并在hadoop的基础上设计实现一个分布式云存储，通过统计单词出现频率的实验，让我们更加了解分布式存储的计算过程，对分布式存储有一个更加清晰的了解。关键词：分布式存储 云存储 分布式文件存储系统Abstract：Because able to provide users with safety and mass data storage function, Distributed storage technology developed very rapidly in recent years. This paper first introduced some concepts and development status of the distributed storage system. Followed by introduction of the related knowledge about the cloud computing and cloud storage, and gave details of cloud storage structure, advantage, development status and key technologies involved, so that we have a general understanding of the cloud storage. And then introduces some knowledge about the Hadoop architecture, the purpose is that we can have a certain understanding about the open source projects and design and implement a distributed cloud storage on the base of Hadoop. Through the statistics of word frequency experiment, we know more about the calculation of the distributed storage and a clearer understanding about the distributed storage.关键词:Hadoop HDFS MapReduce NameNode DataNode绪论随着网络带宽的不断增长，通过网络访问非本地的计算服务（包括数据处理、存储和信息服务等）的条件越来越成熟，于是就有了今天我们称作“云计算”的技术。随着云计算技术的不断成熟就延伸出了“云存储”这一新概念。云存储是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。全球数据量的猛增使得存储日益成为一个更独立的专业问题，越来越多的企业开始讲存储作为单独的项目进行管理。同时，持续增长的数据存储压力带动着整个存储市场的快速发展。云存储这一概念的提出，得到了众多厂商的支持和关注。亚马逊推出了Elastic Compute Cloud（EC2：弹性计算云）云存储产品，其目的是为用户提供互联网服务形式同时提供更强的存储和计算功能。内容分发网络提供商CDNetworks和业界著名的云存储平台服务商Nirvanix发布了新的合作，以提供业界目前唯一的云存储和内容传送服务集成平台。微软推出了提供网络移动硬盘服务的WindowsLive SkyDrive Beta测试版。近期，EMS宣布加入道里可信基础架构项目，致力于云计算环境下关于信任和我可靠度保证的全球研究协作，IBM也将云计算标准作为全球备份中心的3亿美元扩展方案的一部分。云存储已经成为未来存储发展的一种趋势，未来云存储的发展方向主要还是从安全性、便捷性、性能和可用性以及数据访问等角度进行发展。相信随着技术的不断发展云存储将是未来存储的一种主要形式。1.1分布式系统概念从体系结构的