IP集群存储技术的的特点.docVIP

IP集群存储技术的的特点 　　中图分类号：TP3 　　文献标识码：A 　　文章编号：1671-7597(2011)0120026-02 　　 　　0　引言 　　 　　近年来，一些基于纯以太网的大型视频编辑网络陆续上马，在这些网络中，一般都选择了基于分布的IP存储设备作为系统的主存储。其代表产品有：AVID公司的ISIS：OMNEON公司的IQ6000等。那么，什么是分布是IP存储产品?它与我们通常使用的NAS有什么不同?其大致的优缺点与技术背景的什么?我们陆续为大家做一个简略的介绍。 　　 　　1　技术概述 　　 　　以太网络具有结构简单，建设、维护成本低等优点，是目前应用最为广泛的网络结构，它的缺点在于传输时延与波动较大。而通常的视频编辑类应用中。非编主机一般采用的都是基于硬件的编解码器(如MATROX的LE、LX卡)。硬件编解码受限于结构与造价，板载缓冲都很小，如数据传输不及时，就会出现丢帧，黑场等情况。所以，以往的视频编辑网络，一般都采取传输时延与波动都很小的“FC＋太网”的双网结构，并以FC存储设备作为主存储，很少将IP的存储作为主存储使用。 　　近年来，随着CPU，GPU性能的不断增强，大部分的非编软件已不在依赖于硬件的编解码，而是通过CPU＋GPU来完成相应的工作。(硬件板卡仅用于实现与视、音频设备的I／O接口)把编解码放在软件层面完成，除了能降低成本，能灵活应对格式变化外，还有个很大的好处就是可以利用系统的内存来创建一个大缓冲，覆盖掉因传输速率波动而对应用造成的影响，从而将使用纯以太网作为视频编辑的网络结构成为了可能。 　　网络结构可行后，第一个要解决的问题就是要选择什么样的IP存储设备作为系统的主存储。视音频应用对系统的性能，容量都有很大的要求，而传统的NAS存储产品，将数据存放在一个单体设备上，在容量、性能、扩展性上都无法满足视音频的苛刻要求，在这样的背景下各厂商推出了分布式的IP存储产品(集群NAS)。如AVID公司的ISIS；OMNEON公司的MEDIAGRID；ISILON公司的IQ6000等。 　　 　　2　工作原理 　　 　　顾名思义，分布式的IP集群存储是由多个受命名空间管理的存储节点所构成的。写入时，数据被拆分为多个片段，存储在所有的存储节点上，每个存储节点连接到以太网交换机，提供基于IP的访问服务。 　　 　　如图所示，以3个节点为例，当数据写入时，被分为3个数据块，其数据的写入由3个存储节点共同执行；读出也同理。由于文件不是孤立的存在于一个存储节点上，读出、写入操作都是由所有的存储体共同完成，因此，随着数据文件在各存储节点上的分散，系统的总体性能接近各存储节点的性能之和。 　　 　　2.1　ISILON介绍 　　每个Isilon IQ集群包括3到家96~IsilonIQ节点。每个节点2u高，包括12个磁盘、CPU、内存和2KM网络接口，节点自动配合工作，利用它们的合力形成一个统一的存储系统。该系统可以承受任何组件故障，包括磁盘，交换机以及整个节点。 　　 　　Isilon采取标准的网络文件系统，客户端无需安装驱动程序，集群内的所有内容创建了一个共享池，一个访问点，文件系统可以支持高达1000TB的单个网络驱动器，集群一旦建立，用户便能够连接任何存储节点，并访问整个文件系统中的每个文件。 　　1)容错能力 　　由于每个存储节点都存放着数据的一部分副本，而任何一个副本的丢失都将导致数据的完整性被破坏，因此确保任何一个节点出现问题后，数据安全依然有保障，是系统的关键。 　　IP集群存储一般用2种不同的方式来应对这一问题，其中，Isilon通过REED SOLIMONECC(纠错码)、奇偶校验块级拆分(从N＋1到N＋4)的组合，可提供N＋1到N＋4的不同安全级别。在N＋4时(最高安全级别)，可以承受驱动器或整个节点的四个同时故障，从而为整个系统提供极高的安全性。 　　 　　如图所示，统在所有节点间做校验计算，以便当一个节点完全崩溃时，可以由其它节点读出数据，并结合校验码进行逆向运算，恢复出故障节点的数据，保障数据的完整性。 　　2)容量与性能扩展 　　集群存储产品均支持磁盘容量的在线扩展，即可在不停机、不重新格式化卷的情况下，对原有存储空间进行扩展。同样，可通过增加节点的方式实现性能的提升，系统节点数越多，总体性能越好。 　　 　　2.2　AvID IsIs介绍 　　AVID ISIS每个存储储节点包含32个磁盘，每节点通常选配2个带8KM以太网端口的交换模块，节点间通过cx-4进行互联，最大支持12个节点，ISIS的客户端需要安装驱动程序(目前仅提供WINDOWS平台下的驱动)来访问文件系统，其文件系统为目录形式，可根据客户端的