互联网文件存储服务系统分析-软件工程专业论文.docxVIP

华中科技大学硕士学位论文 华 中 科 技 大 学 硕 士 学 位 论 文 PAGE 1 PAGE 1 1. 绪论 1.1 引言 存储系统从传统直连形式发展到大规模分布式的结构经历了若干阶段，也应 用了相应时期的典型技术，比如直连通道、借助于网络技术实现的网络附属存储 和存储区域网络、结合网格技术的数据网格。而在近期，在互联网高速发展和普 及应用的推动下，又探索出了一条通过互联网服务方式提供存储功能的发展道 路，即存储服务。 推动力来自于这样几个方面，既有互联网应用的逐步深入，也有移动应用的 广泛需求，还有国际政经局势的演变。在 2010 年初，美国市场研究公司 Gartner 结合近年来的统计就做出了预计，随着虚拟化和云计算逐渐渗透到商业世界中， 有超过 20%的企业到 2012 年都将不再拥有自己的 IT 资产；员工越来越多地在工 作中使用个人的 PC，公务数据的保管则依赖于在工作环境中租用的存储资源， 这是促成存储服务化趋势的主要因素之一；同时，Gartner 还通过分析得出，到 2013 年，手机将超越 PC，成为主要的上网方式；数据显示，全球 PC 总量 3 年 内将达到 17.8 亿台，而智能手机则会达到 18.2 亿部，并将继续增长，这一趋势 除了会促使更多的互联网内容提供商调整服务界面以方便移动设备访问之外，更 重要的还会加速存储服务的发展以填补移动设备本地存储能力的不足；而且在国 际大环境中，随着节能减排呼声的高涨，到 2014 年，包含节能减排方案的 IT 项 目将占多数；而目前就已经有许多项目包含了节能计划，随着政治和经济压力的 日益增加，IT 硬件厂商很快都将细化各自产品的碳排放信息。对于存储用户而言， 达到这个目的最为便捷的途径就是广泛采用实施成本更低、更易于维护和扩展的 存储服务技术。 1.2 国内外研究概况 近些年随着云计算的快速发展，存储服务的最新发展就是云存储，云存储得 到了众多研究机构和产业界的关注与重视。云存储是一种在线网络存储服务系 统，数据存储在大量的存储设备之上，通过一些应用软件或是技术协调这些存储 服务器进行工作，对外提供数据存储和访问功能。 在产业界各大公司目前有了一些比较著名的产品。早在 2006 年 3 月，亚马 逊就发布了简单存储服务(Simple Storage Service，S3)[1]，这是一个公开的服务， Web 应用程序开发人员可以使用它存储图片、视频、音乐、文档等等。亚马逊 网络服务平台使用 REST(Representational State Transfer)和简单对象访问协议等标 准接口，用户可以通过这些接口访问到相应的存储服务。 EMC 则推出了 Atoms 产品，主要面向一些企业级的大公司，旨在帮助它们建 立外部云存储服务或是在内部建立基于云存储概念的内部存储云，存储容量可以 扩展到 PB 级，支持数十亿的文件和对象，并提供在全球各地访问的能力。Atoms 拥有自动配置新的存储空间和自动调整硬件故障的能力，允许用户使用 Web 服 务协议对各类数据进行管理和读取。 在学术研究方面则更多的是关注云存储的核心架构及基础技术研究，包括架 构设计，安全机制，分布式文件系统，质量保证等等。比较著名的有 Google 的 GFS 分布式文件系统[2]，Amazon 的 Dynamo 分布式存储系统[3]，开源的 Hadoop 系统的 HDFS 分布式文件系统[4]等等。 云存储归根到底是一个服务系统，利用云存储系统带来的一种数据访问服 务，在互联网环境中则具体表现为一些应用来与用户进行交互。在现有的云存储 服务应用中，比较著名的有 Dropbox，是 Dropbox 公司运行的在线存储服务，通 过云存储实现互联网上的文件同步，用户可以存储并共享文件和文件夹。 R 是世界知名的文件上传下载托管服务网站，在 ALEXA 网站的综合 排名为第 11 位。使用简便是 Rapidshare 网站[5]最典型的特点之一，该网站支持 一击免费上传文件功能，也就是说，网站用户只需点击鼠标一次就可以轻松上传 文件资料，非常轻松快捷。Rapidshare 网站还对付费用户提供了远程上传服务， 有了这项功能，付费用户只要点击远程上传，并在指定位置输入文件的 URL， Rapidshare 网站就会自动下载这个文件，并在下载完成后自动上传到该用户的个 人空间。 1.3 文件存储服务面临的挑战 在当今高速发展的互联网环境下，文件存储服务作为云存储的一种具体应用 形式，和许多其他互联网应用一样，面临着诸多的挑战。以最大的文件托管网站 RapidShare 为例，其托管的数据规模达到了 10PB，并发用户访问量达 300 百万[6]。 再以 C2C(Consumer to Consume