第一章海量网络存储系统分解.doc

存储系统设计原理 自从5000年以前，埃及人把象形文字记录在石牌上面开始，人类可以通过记录有文字的载体把思想从一个人告诉给另一个人，从一代人传递给下一代人。无数的壁画、石碑、甲骨、竹简等记录了无数的故事和传说，人类的文明通过这种方式，经过无数人知识和经验的积累和世代传承逐渐发展壮大。纸张的出现、印刷技术的发明使得承载各种知识的文明之火熊熊燃烧并迅猛传播开去。 60多年前，计算机系统的出现，人类纪录知识和信息的方式摆脱了纸张的约束，以数字方式存放在计算机系统之中，这一过程并得到不断的深化和发展，直到有一天人类突然发现通过网络互联的计算机系统取代了充满藏书的图书馆成为知识和信息存储和传播的主体；无数电子设备（数字摄像机、数字照相机等）可以无时无刻纪录人类身边的每一个变化取代了书斋中的作者以优雅的文字辛勤地纪录身边的历史；敲几下键盘、点几下鼠标获取所需的信息取代了辛苦的大量翻阅。计算机存储系统成为无数知识和信息的最主要载体，同时也是社会正常运转不可或缺的重要保证。 应用需求 新的信息和网络时代对现代存储的要求使得存储技术正经历着革命性的发展。依托于计算机技术发展的信息革命就是不断把各种人类活动过程数字化，并通过各种不同的计算机系统对于这些数字化信息进行存储、传输和处理。 60多年前，第一代计算机ENIAC每秒5000次加法或400次乘法操作的处理速度仅需要100字磁芯存储容量；而当前一张3600*2700分辨率的数码照片压缩后的大小大约为4MB，一部1920*1080（HDTV）画质电影需要大约20GB的存储容量和3MB/s的I/O持续数据传输率，与此同时许多应用程序对于I/O的响应时间也有了严格的要求，例如许多SLA（Server-Level Agreement）应用（例如银行和网站）对于I/O请求的响应时间有了严格的规定。正是这种不断增长的应用需求推动着存储系统从小到大，从慢到快，从简单到复杂，并对存储系统的健壮性、可用性、安全性和管理性提出了更高的要求。 一个有意思的现象是整体而言数字化发展过程大体上正比于当前的数字化程度，从这个结论很容易推导出整体数字化过程具有指数增长的特征。这产生一个值得探究的问题：这种发展速度背后的推动力是什么？一个直接的原因归功于科学技术的发展，而任何一个技术的发展速度又依赖于当前技术的发展水平和对于新技术的期望程度（事实上就是开发这种新技术的投入，包括人力在内的各种投入力度，这也反映对这种新技术的需求）。显然存储系统的发展符合上述观察，大容量高性能的存储系统满足了当前应用的要求同时也导致更多对于存储系统有更高要求的应用产生。一个例子就是google搜索平台推进了大规模集群存储的发展，而大规模集群存储系统的发展促进了云存储的需求。 数据量增长 存储系统革命性变化首先表现为其容量的急剧膨胀。根据权威机构国际数据公司（International Data Corp.，IDC）最新的研究报告《数字宇宙膨胀：到2010年全球信息增长预测》中统计的数据，2006年全球每年制造、复制出的数字信息量共计1610亿GB，而人类开始记录历史以来，到2006年为止全部的书本文字加起来大约50PB，显然当年信息产生量大约是图书信息总量的300万倍。如果将书籍排列起来，总长度为地球到太阳距离（约1.5亿公里）的12倍。IDC报告同时显示，至2010年，这个数字将猛增到6倍，达9880亿GB，年复合增长率为57%。当前，ATT的网络每天流动16PB的数据，Goolge 每天处理20PB的数据，Facebook每天存储1PB的照片，Opera浏览器每个月处理多于1PB的数据，而BBC的iPlayer每个月有大约7PB的数据流，Youtube存储了31PB的流媒体数据。Cisco估计到2012年每个月网络上视频流大约为5Exabytes（5000PB）。 摩尔定律断言CPU的处理速度每18个月增加一倍，同样通过若干年的观察发现网络带宽和存储容量增长也都具有指数增长的规律。图灵奖获得者Jim Gray提出了一个新的经验定律：网络环境下每18个月产生的数据量等于有史以来数据量之和。至少到目前为止，数据量的增长基本满足这个规律。 在数字化和网络互联环境中，数据信息膨胀的具体表现为： 比特流的无限蔓延，电子数据无处不在； 数据就绪时间的延展：过去的信息系统基本上都有后台作业时间，而今天的信息系统却要求网络数据每周7×24小时时刻处于就绪状态； 数据存储的结构产生了巨大的变化：在信息孤岛时代，存储设备基本上是与封闭的、特定的计算机系统对应，而在网络互联时代，数据是跨系统、跨部门、甚至是面向全世界用户的。除去安全性要求，数据的存取不再受到时间或者空间约束； 数据类型的多样化：基于文本或者固定结构的数据曾经是计算机处理的主要对象，而当前数据类型