适宜互联网音视频应用的磁盘存储结构.pdfVIP

适宜互联网视音频应用的磁盘存储结构 适宜互联网音视频应用的磁盘存储结构 美国赛龙集群存储系统有限公司 柳 吉 1存储结构发展的简单回顾 磁盘存储是作为计算机的外部设备在上世纪六十年代开始得到普遍应用的。在很长的一段时期里它依 附与服务器，存储结构为直连存储(DAS)。在这种存储结构中，存储系统只与服务器相联，存储之间没有 任何联系，形成很多的存储“孤岛”。对每个存储系统的使用和管理都必须通过与之相联系的服务器去进 行。逻辑关系如图1所示。 图1：在DAS模式中，存储只与相连接的服务器有关，形成若干存储孤岛 上世纪八十年代，计算机进入网络时代。八十年代后期产生了磁盘阵列(RAID)和网络连接存储(NAS) 的概念。磁盘阵列开始只是为了增强磁盘系统的可靠性，但是多个磁头的并发操作，后来也被大量用来提 高磁盘系统的整体性能。NAS是为了在网络上共享数据而产生的。NAS技术打破了DAS的存储“孤岛”，使 存储系统不再依附与服务器，带来了管理的简单性。随着局域网的带宽不断增加(千兆以太网的出现)， 特别是互联网应用的共享要求，使NAS技术在上世纪九十年代后期得到了突飞猛进的发展。图2是NAS的 逻辑示意图。 适宜互联网视音频应用的磁盘存储结构 图2：在NAS模式中存储不再依附于任i．-IH艮务器，可以被网上的所有服务器共享 随着使用计算机的应用越来越多，一个企业拥有的存储总容量越来越大。为了便于管理，在上世纪九 SAN)。该技 十年代后期在光纤通道技术越来越成熟的基础上，出现了存储局域网(SAN)的概念(又称FC 术在本世纪也得到飞快的发展。许多关键的数据库应用都使用了FCSAN的存储模式。 随着千兆网的普及和万兆网的应用，本世纪又出现了基于iSCSI技术的IPSAN存储。它对于简化存储 SAN和IPSAN)的逻 管理的复杂度，降低存储系统的成本都做出了贡献。图3是SAN存储模式(包括FC 辑示意图。 图3：在SAN的存储模式中存储资源可以统一管理，但在应用时各服务器仍独享存储资源 148 2008．4第八届全国互联网与音视频广播发展研讨会(胛C2008) 适宜互联网视音频应用的磁盘存储结构 2一般互联网应用对存储结构的要求 上世纪九十年代后期，互联网突飞猛进的发展对存储系统的结构提出了一些特殊的要求。归纳起来主 要有以下三点： 第一是共享性。互联网上的并发访问要求的规模是空前的。网站常常以点击率来说明它的价值。受到 广泛欢迎内容的点击率往往不是以100、1000计，而是以几十万、几百万，甚至上千万计。要满足这样高 的点击率，一个网站需要有许多服务器一起工作。那些受到广泛欢迎的内容只应该保留一份拷贝，存储系 统的管理才能够简化。让多个服务器访问同一个存储器，这正是NAS这种存储结构的优势。如图4所示。 图4：多个Web服务器共享一个NAS存储可以简化数据管理 第二是快速响应。在互联网的世界里，许多网站往往都能够提供类似的内容服务，人们在判断谁的服 务更好时，响应速度是一个极为重要的指标。在这里人们常常会讲“点击(C1ick)效应”，即点击一个网 站或网站的某个内容后，人们等待的耐心是十分有限的。于是就有了所谓的“10秒钟效应”、“30秒钟效 应”等等。如果点击后lO秒钟或30秒钟还没有反应，人们往往会放弃本次点击。这一效应要求网站的服 务器必须快速响应，而要真正做到快速响应，就要求有足够多的服务器来响应每一个点击，网络要有足够 大的带宽保证网络不阻塞，还要求存储系统能够足够快速地响应。最初，互联网的被访问内容还有一个共 同特点，那就是文件本身往往很小，但文件个数很多。也就是所谓的“小文件、大目录”。例如一个Web 页面常常是由很多小文件构成的，E-mail文件本身往往也都很小。对于这些应用，传统的文件系统(指 Inc．)的Data Appliance 0ntap采用wAFL格式，给出了非常优异的处理结果。 第三是高可用性。互联网的崛起，产生了一大批以互联网为生的公司。对于这些公司