浅谈地震资料处理系统中存储技术需求.docVIP

浅谈地震资料处理系统中存储技术需求 ［摘要］地震资料处理系统是按照作业序列以紧耦 合的结构化大块数据体为对象进行密集计算的高性能计算 系统。在叠前偏移成像等大数据密集计算处理作业日益增多 的情况下，存储系统性能对地震资料处理系统效率影响突 显。通过分析地震数据处理系统的数据访存特点，提出以数 据访存带宽性价比为主要因素，有针对性地选用存储新技 术，构建适用性良好的存储子系统，以满足复杂地质条件下 地震资料成像品质对高性能计算系统的数据访存需求。 ［关键词］计算机系统结构；存储系统；地震资料处 理系统 doi : 10 . 3969 / j . issn . 1673 - 0194 . 2014 . 02. 063 ［中图分类号］TP391； P315. 63 ［文献标识码］A ［文 章编号］1673 - 0194 (2014) 02- 0124- 02 0引言 新疆油田勘探开发研究院自2004年引入大规模PC集群 地震资料处理系统，一直关注存储系统架构与地震资料处理 的数据访存特点匹配，以期提高系统生产效率。应用面向对 象的并行共享存储系统，在一定程度上解决了资料处理系统 中相对低效的数据访存和节点高效计算能力的匹配矛盾，与 CPU技术的快速进步和万兆以太网以及Infiniband网络的发 展相比，处理集群中存储系统的性能依旧相对滯后。存储技 术处在发展变革前沿，结合地震资料处理系统中数据应用特 征和生产组织方式，有针对性地选用存储新技术，构建适用 性良好的存储系统，提高以逆时偏移技术为代表的新成像方 法的系统应用效率，有助于满足复杂地质条件下地震资料成 像品质需求。 1存储技术发展 固态盘技术和云存储技术的发展代表了存储技术的发 展趋势，并称为下一代存储技术。 1.1固态盘技术简介 态盘(Solid-State Driver)是指利用电子部件取代 传统磁盘磁介质进行数据存储的电子设备。固态盘内部没有 旋转马达，不存在转速提升或下降的启动时间，与传统磁介 质硬盘相比，在I0PS性能、时延、平均无故障时间(MTBF)、 节能等方面有明显优势。 目前固态盘的推广应用受限于性价比和性能老化两大 因素。固态盘的I/O性价比已优于高端光纤存储盘阵，但在 容量性价比方面仍存在较大差距。在频繁随机大小数据写入 的应用场景下，由于写操作特性，固态盘在使用一段时间后 会出现性能陡降，需要对固态盘进行初始化或更换，性能老 化影响了固态盘的便捷应用。尽管存在诸多争议，活跃的技 术创新一直在加速推动固态盘的普及应用，大容量PCIe固 态盘缓存在服务器的应用以及利用后端存储固态盘为服务 器提供高效缓存的应用，都在推动固态盘向基础架构的各个 层面渗透，固态盘改变了以磁介质硬盘为基础的存储架构体 系。 1.2云存储技术简介 云存储是指通过集群应用、网格技术或分布式文件系统 等功能，将网络中大量不同类型的存储设备集合协同，对外 提供数据存储和业务访问的云计算系统。国际存储网络产业 协会（SNIA）提出的云数据管理接口（CDMI）定义了云存储 管理基础架构，保障接入不同云存储接口的通用性。云存储 需要多种技术协同实现动态按要求提供服务，主要有统一存 储、自动分级存储、存储虚拟化、分布式文件系统、Scale-out 横向扩展、固态盘缓存、压缩/重复数据删除等技术。 云存储面临大数据高并发混合负载服务请求的压力，在 满足高并发的同时，需要满足海量数据存储，这放大了存储 性能和存储容量均衡性要求。自动分级存储技术和固态盘缓 存技术是目前解决云存储性能、容量和性价比三者矛盾的热 点技术。自动分级存储技术根据数据使用特点将数据在不同 磁盘类型和RAID级别间进行迁移，可以均衡存储在性能和 空间的平衡。但是数据迁移策略通常是数据应用长期累积的 经验值，而业务应用多变又使经验值难以固化，造成自动迁 移实施复杂度较高。相比自动分级存储技术，利用服务器上 的固态盘作为大容量磁盘阵列缓存，可以降低对存储系统 IOPS性能的要求，提高数据读取性能，但是需要与应用系统 相适应的缓存算法支持。 云存储各项技术的推进改变着存储体系架构，固态盘存 储介质的突破固然对存储体系产生较大影响，但分布式文件 系统、缓存算法和软件内核优化等软件因素对存储体系架构 将产生更大影响。 2地震资料处理系统数据特点分析 进入处理系统的初始数据在数据特征上表现为紧橘合 的结构化块数据。依据目前典型的野外数据采集方式，对于 单个三维区块资料处理作业，进入系统的初始数据通常为 5TB大小，完成各类典型处理步骤，大约需要6倍于初始数 据的存储空间。在研究复杂地质构造时，随着采集密度的进 一步提高，未来用于盆地整体解剖与研究的单个三维区块初 始数据将达到100TB以上。处理系统需要较大的存储空间以 支持一个完整的资