石油行业云存储解决方案.doc

石油行业云存储解决方案 来源：龙存科技 方案名称： 石油行业云存储解决方案 针对行业： 石油行业 方案概述： 石油行业存储面对的挑战： 石油勘探数据量大：一条二维数据测线的地质资料，数据量达数十GB；一条三维数据测线的地质资料，数据量高达数百GB；每次进行并行计算的数据总量更是高达数十TB乃至数百TB。 高性能处理要求高I/O带宽：如在几小时内完成至少100平方公里的三维地震数据处理，其I/O峰值就可达每秒数百兆；高数据量要求高计算并行度，高计算并行度带来对数据访问的共享与并行性能要求。 海量数据的存储管理：数据增长迅速，要求对数据统一调配。 高可用性和可扩展性：计算节点、传输带宽、数据迁移、系统容量等方面扩展不能影响业务。 龙存方案： 龙存集群存储系统是一款针对海量数据存储应用的大规模通用文件共享的集群存储系统。采用通用设备为构建单元，为用户提供统全局统一的文件系统映像和完全与本地磁盘兼容的访问接口。依靠灵活的集群架构满足需求。 方案特性： 按需扩展容量与性能；LoongStore在线扩容，容量立即可用，扩容不影响前端的应用，系统的总体IO带宽随着规模的扩大线性增长。 支撑高并发数据访问：LoongStore采用带外数据传输，应用服务器和存储节点之间，直接的、高并发的数据访问。LoongStore在单一的文件系统中提供突破性的100GB/s的吞吐量以及每秒数十万个文件的查询效率。 高资料处理连续性：无任何单点故障；灵活的数据冗余机制；自动的硬件故障探测机制和自启动的数据恢复机制。 无缝兼容现有应用环境：LoongStore 集群存储系统提供给计算节点，与本地硬盘完全兼容的访问接口，相关作业程序可以无缝切换。 简易的管理界面：一个人管理PB级数据。 成功案例： 中国石油大庆油田的勘探开发研究院 方案详述： 背景 油气田勘探开发是一个集石油天然气地质勘探、油气田开发、地质开发试验和计算机应用等为一体的综合性应用科学，具有数据报表类型多，数据量非常庞大等特点，每一个勘探点都会有几个GB甚至几十个GB的数量。随着技术的发展和进步，原油公司对地球勘探开发的要求越来越高，需要处理的数据量呈“指数级”难以想象的速度增长，需要借助高性能机群的数据处理能力，在最短的时间里对采集数据进行精细处理，通过综合解释研究，为下一步的钻井、开采提供真实反映地下构造的基础数据。 涵盖了地震资料的处理解释、测井资料的处理解释、试井分析、油气藏数字模拟、盆地分析模拟、圈闭描述评价、油气描述及储量计算等 挑战 油田勘探开发数据量大 一条二维数据测线的地质资料，数据量达数十GB；一条三维数据测线的地质资料，数据量高达数百GB；每次进行并行计算的数据总量更是高达数十TB乃至数百TB。 高性能处理要求高I/O带宽 高性能计算集群极大的提高了资料计算处理能力；系统的计算能力远远高于磁盘带宽，使得系统I/O性能与计算能力间产生瓶颈；如在几小时内完成至少100平方公里的三维地震数据处理，其I/O峰值就可达每秒数百兆；高数据量要求高计算并行度，高计算并行度带来对数据访问的共享与并行性能要求。 海量数据的存储管理 数据容量高达数百TB且还在不断增涨；地震资料数据异常珍贵，损坏、丢失都会造成巨大损失；管理员需要加大管理灵活度，要求能够对数据进行统一调配。 高可用性与可扩展性需求 灵活的存储架构，具有故障恢复、故障切换、负载均衡等功能；不影响原有系统的前提下的计算节点、传输带宽、数据迁移能力、数据存储容量等方面的扩展。 龙存解决方案 方案说明 LoongStore 集群存储系统是一款针对海量数据存储应用而设计的大规模通用文件共享集群存储系统，采用通用的硬件设备作为构建单元，为应用提供全局统一的文件系统映像和完全与本地磁盘兼容的访问接口。LoongStore存储系统依靠灵活的集群架构满足石油和天然气公司的需求。 方案特点 按需扩展容量与性能 NAS 和 SAN 系统架构固有的局限性，导致了管理的复杂、有限的扩展性和高昂的成本。LoongStore存储系统将数据统一存储到同一个存储空间，在单一的存储集群中节点数可达数万个，而且单一的文件系统支持的最大容量达64PB。 LoongStore灵活的扩展性允许在线扩容，管理员可以很容易的添加智能存储节点或者硬盘，容量立即可用，而且扩容过程不影响前端的应用，同时系统的总体IO带宽随着规模的扩大线性增长。 支撑高并发数据访问 LoongStore 集群存储能够消除石油和天然气公司的传统存储环境存在的信息孤岛，支持在一个统一的存储系统空间存取大量的数据，而且提高所有数据的访问性能，实现了真正意义上的突破。LoongStore 的带外数据传输机制，能够让应用服务器和智能存储节点实现直接地、高并发的数据访问。LoongStore能够在单一的文