系统结构课程论文--网络存储的可靠性.doc

计算机系统结构课程论文 题 目 网络存储的可靠性 学 院 物电学院 专 业 计算机软件与理论 学 号 14110852181 学生姓名 指导教师 完成日期 2015年1月 摘要 随着信息技术的不断发展，数据日益成为人们口常生活中重要资源。爆炸式增长的数据必然带来存储设备的持续增加。为了减少本地存储压力，云储存正成为时尚。目前，海量数据存储环境下的现代数据中心的存储节点规模少则几万多则几十万，但在规模巨大的存储环境系统中，磁盘损毁或者存储节点失效己成为一种常态行为；与此同时，因网络连接设备或者存储节点其它元器件造成的数据不可访问或者丢失现象也时有发生。为了满足口益扩展的数据存储需求，人们对数据存储的可靠性提出了更高的要求，如何实现海量数据在网络存储中低冗余度高可靠性存储己经成为业界面临的一个巨大挑战。 因而，本文网络存储中低冗余度高可靠性海量数据存储系统的关键问题，在总结了当今数据可靠性增强理论和海量数据存储系统基本架构的基础上，对基于纠删码的数据分布策略研究进行一定介绍。在存储系统中，提出了基于纠删码的数据冗余分布模型，研究了涉及到的数据读写，恢复算法等关键技术。通过理论分析得出了这种冗余方案对提高系统可靠性更有优势：要使数据达到相同的可用性，基于纠删码方案只需要较低的冗余度；同样在相同的冗余度情况下，基于纠删码冗余方案的数据有更高的可用性。 关键字: 可靠性； 网络存储； 海量数据； 纠删码 一、绪论 近年来，随着云计算、物联网、社交网络等新兴技术的迅猛发展，无所不在的移动设备、无线射频识别标签、无线传感器等每分每秒都在产生感知世界的信息。数以亿计用户的互联网服务时时刻刻都在产生新的数据，同时记录人们生活的历史信息也呈现爆炸式增长。数据的快速增长必然带来存储设备的持续增加。同时，为了满足口益扩展的数据存储需求，数据存储系统的体系结构也在不断发展与变化，从传统的集中式存储到分布式存储，近几年还出现了云存储等新型海量数据存储模式。 2008年2月，几千个构建在亚马逊EC2和S3上的小型网站因数据中心宕机而受到影响；次年三月，谷歌公司的Docs出现系统故障，随后，联邦商务委员会被请求调查此事，以确定谷歌的云计算服务对客户的隐私与安全可能带来的隐患。可见，数据的丢失或失效，会给人们带来不可估量的损失。 进入20世纪以后，随着网络技术的持续发展、各种信息服务形式的不断出现、所需存储的数据呈现爆炸式增长，有研究者开始利用普通的PC机来构建大规模的存储系统，最为典型的是Google的GFS，例如，2004年Google的集群中的PC机节点达到18000台，每台PC越挂载两个磁盘。该技术的出现，使得人们对存储系统多了一种选择。现在，很多研究者和大型企业开始构建利用普通计算机硬件搭建的数据存储平台，如Apache Hadoop开源项目 , Facebook的Cassandra系统、淘宝的TFS ( Tao file system）。在存储系统中，特别是大规模数据存储系统中，系统会因为这样或那样的问题出现数据的暂时不可用或者丢失损毁现象。从数据存储系统的组成上看，不论是DAS, NAS, SAN构建的小型存储系统，还是大规模分布式集群系统乃至超大规模数据中心，其基本存储运算单元都可以分为三个部分:首先是由磁盘搭建的基础存储设备，它是数据存储的物质基础;其次是系统中心网络，它是连接存储资源和计算资源的神经中枢。最后是计算设备和系统管理软件，它负责计算任务的完成和系统节点的管理和监测。 一方面是存储数据量的爆炸式增长对基础存储设备规模上的需求，一方面是大规模海量数据存储系统频繁的失效行为，另一方面是数据的丢失给数据拥有者和使用者带来的巨大损失，这一切使得数据存储系统的可靠性成为海量数据存储面临的一个函待解决的重要挑战。当然，系统的可靠性问题可以通过单纯增加硬件冗余的方式加以解决，但这样带来的硬件成本太高，本文则从数据管理与组织的角度探讨应对海量数据存储系统中数据的可靠性问题。 二、存储系统的可靠性 在一个拥有规模约为4000个结点的数据中心内，平均每天会有四个磁盘失效。Google公司的研究人员统计了其数据中心的磁盘损毁情况，系统中每年有1.7%至8.6%的磁盘会出现故障。而根据卡内基梅隆大学的统计数据显示，某些系统中磁盘每年的替换率约为13%。于是，每年中，几十甚至上百的磁盘损毁对于由成千上万个磁盘组成的PB级系统来讲是一种很平常的事;而对于规模更大的EB级存储系统，每年会有几万甚至十几万的磁盘发生损毁。 计算机除了容量、速度和价格外，人们有时更关心存储外设的可靠性能。因为软件系统的崩溃可以通过重新安装操作系统和应用程序来实现，但是用户的数据是不能够丢失的。所以存储设备应该无