StorNext文件系统.docVIP

1 StorNext并行存储技术 1.1 StorNext3.0并行文件系统工作原理 为了满足基于TCP/IP 网络中计算节点对StorNext共享文件系统的访问要求，2007年ADIC发布了StorNext 3.0版本，开发了分布式LAN客户端（DLC）功能。其工作原理如下图所示： 1 LAN客户端应用发出写请求； 2 LAN客户端通过LAN网络向MetaData服务器（MDC）发出I/O操作请求； 3 MetaData服务器处理该请求，并将磁盘块地址返回给客户端； 4 客户端接到数据块地址，并通过StorNext的客户端服务器群向物理盘写数据。 尽管上述过程与传统的CIFS/NFS数据共享相似，但由于分布式LAN客户端采用优化的基于块IP的特殊协议，因此可以获得较NFS高几倍的数据访问速度。此外，通过将一个LAN客户端加入多个StorNext的客户端服务器的方式，即当某个客户端服务器忙或不可访问时，自动切换到另一台服务器，实现系统的I/O访问平衡。 1.2 StorNext并行存储技术优缺点 技术优点 1、 文件系统共享性好，可靠性高，易于管理。 2、 特殊的基于块的IP访问协议较目前使用的NFS协议快2~3倍。 3、可以实现自动的 I/O 负载均衡。 技术缺点： 1、尽管STORNEXT文件系统的共享性很好，但其并行性不高。 目前STORNEXT文件系统的并行性主要体现在磁盘阵列的条带化技术上，I/O服务器之间的并行性不是很好，即对一个I/O请求，只能由一个I/O服务器来处理，不能同时由多个I/O同时处理该请求。 换言之， STORNEXT的存储方案对于CGG处理软件的应用是不存在问题的，因为CGG软件就是将I/O服务器作为并行作业的父节点，数据首先传送到父节点，然后由其分发数据，计算节点不需要安装（mount）任何的STORNEXT文件系统。由于I/O服务器和磁盘阵列同在一个存储区域网中，他们之间的数据访问速度是非常快速的。 然而对于OMEGA、MARVEL这样的应用，情况就有所不同了。计算节点必须mount 所需的STORNEXT文件系统，数据的访问请求与数据的传输是由各个计算节点发出和完成的。假定用户发送的并行作业数据量比较大，使用的计算节点个数比较多，那么可以想象从第一个计算节点发出数据请求，到最后一个计算节点获得数据访问许可并开始传送数据，中间的间隔时间如果超过了软件规定的时间时，就会发生应用软件认为某个节点出现了故障，作业被废弃的情况。 尤其是当各种应用软件同时使用StorNext 文件系统时，这种现象发生的频率将很高。 2、 StorNext采用的是集中式元数据管理结构。 图 StorNext元数据管理方法示意图： 在StorNext共享文件系统结构中，所有的存储服务器（I/O节点）只能通过一台元数据服务器（Master Server）获得数据的访问许可和数据地址信息。通常情况下，为了避免一台元数据服务器损坏就会导致整个存储系统的崩溃，StorNext会配置另一台服务器作为主元数据服务器的备份服务器（Slave Server）。但随着存储系统规模的扩大，一台元数据服务器很可能会成为系统的瓶颈。 3、继续扩充费用昂贵。 扩充StorNext 系统需要购买客户端许可。另外，随着存储系统规模的扩大，升级新的高性能、多端口的存储光纤交换机成为必然。此外，为了保证对StorNext 文件系统的访问速度，对新扩充的磁盘阵列以及I/O服务器的性能要求也需随之升高，因此系统的扩展资金投入较大。