基于地震资料处理的lustre并行存储系统的研究构建.docVIP

　　基于地震资料处理的lustre并行存储系统的研究构建 【摘 要】随着我院GPU集群的引进，迫切需要构建一个“优异的存储系统”，两者共同建设一个“高速运算、高速通讯、高速存储”的地震勘探系统，解决长期困扰我院的勘探难题。本文通过Lustre技术研究，构建一个Lustre并行存储系统，测试结果及生产应用验证了该系统与GPU集群是一个完美的匹配，叠前时间偏移等耗时的技术纳入常规化，进行规模化生产，解决了我院油气勘探复杂构造成像难度大的的勘探难题。 中国 1/vie 　　【关键字】 Lustre；OSD；MDT 　　1 .引言 　　我院勘探任务主要在老区，老区勘探程度高，勘探面临的对象复杂，且新区勘探开发难度大，勘探现状需要采用多项高端地球物理成像技术，包括Kirchhoff叠前时间偏移、逆时偏移（RTM）等，有助于解决油气勘探复杂构造成像难度大的问题，运算时间长却是长期困扰我院的难题，为此，我院引进了GPU集群，将叠前时间偏移等耗时的技术纳入常规化，进行规模化生产。 　　GPU集群具有高速运算、高速通讯和高度稳定的特征，要求高速存储与之保持同步，建设一个“高速运算、高速通讯、高速存?Α钡卣鹂碧较低常?才能解决我院勘探难题。本文采取开源的高性能分布式并行文件系统Lustre和低延迟、高带宽的InfiniBand网络实现“高速存储”，Lustre确保存储系统的内部数据的高速存取，InfiniBand确保存储系统和GPU集群的高速数据通讯。 　　2 .技术研究 　　Lustre是应用广泛的开源性的集群分布式并行文件系统，采用了数据和元数据分离技术、智能存储技术和高速区域网技术，由OSD、MDD和client组成， OSD负责实际对象数据的存储及智能管理，多个OSD以并行的方式被直接的访问，增加更多的OSD会增加存储的容量，同时线性增加数据吞吐量。MDD管理整个系统的命名空间、控制client与 OSD 上对象的交互，client和OSD直接进行实际对象数据的交互。client在需要访问文件系统的文件数据时，先访问MDS，获取文件相关的元数据信息，然后就直接和相关的OSD通信，取得文件的实际数据。通过子网L实现文件系统的内部通讯。MDS、OSS和Client通过InfiniBand高速网相互通讯，连接成一个“高速存储”的Lustre并行存储系统。 　　2.1 OSD 　　OSD是一种网络存储磁盘设备，它有自己的磁盘、处理器、RAM存储器和网络接口。OSD用其自身的存储器和处理器优化磁盘的数据分布并从磁盘预取数据。 　　OSD由OSS和OST构成，OSS提供了文件I/O服务和用来处理一个或多个当地OST的网络请求。每个OSS节点可以有多个OST。OST负责实际数据的存储，处理所有客户端和物理存储之间的交互。OST和实际的物理存储设备之间通过设备驱动方式来实现交互。通过驱动程式的作用，Lustre能继承新的物理存储技术及文件系统，实现对物理存储设备的扩展。 　　2.2 MDD 　　MDD存储了文件系统的基本信息，负责管理整个系统的命名空间，维护整个文件系统的目录结构、用户权限，并负责维护文件系统数据的一致性。 　　MDD由MDS和MDT构成。Client通过MDS读取保存到MDT上的元数据，得到文件信息，从OSS中得到数据。通过MDS的文件和目录访问管理，Lustre能够控制Client对文件系统中文件和目录的创建、删除、修改，控制Client与 OSD 上对象的交互。 　　2.3 Client 　　Client通常是典型的集群计算节点，它们运行Lustre客户端软件并通过以太网或InfiniBand与Lustre 服务器进行通信。客户端软件由Lustre服务器和运行在计算节点上的应用程序之间的接口组成。为了使计算节点能够直接从OSD读、写对象，必须配置一个文件系统。 　　2.4 Lustre 　　Lustre文件系统为其上层的应用提供一个透明的POSIX接口，它允许应用去执行标准的文件系统操作。文件系统在Client计算节点上为输入的数据提供Caching以补充 OSD中的Cache。文件系统在每个对象的基础上处理跨越多个OSD的对象的条带。由于对象以并行的方式读写，条带的宽度将直接与对象的带宽相关。 　　2.5 Netdt元数据存储盘。gfs02-gfs06（OSD）等5个存储节点都有两个磁盘，sda为操作系统盘，sdb分出三个8T分区为OST数据存储盘。在gpu00-gpu09等GPU集群节点上实现存储系统的Client，安装Lustre文件系统客户端程序，并挂载Lustre文件系统。OSD、MDD、Client都需要经过内核编译、驱动安装与软件安装配置等实现并行存储系统。