浅析软件定义存储在油气行业应用.docVIP

浅析软件定义存储在油气行业应用 　　[摘 要] 为解决油气行业应用高性能计算及大规模数据分析导致的传统存储系统性能瓶颈，在介绍软件定义存储的含义及特点的基础上，从油气公司物联网、ERP应用集成、云、大数据的建设以及业务发展的角度对存储的现状及软件定义存储的需求进行了分析，并对软件定义存储在油气行业的应用模式进行了探讨并给出相关建议。 　　[关键词] 油气行业；软件定义存储；闪存；IOPS；存储虚拟化 　　doi ： 10 . 3969 / j . issn . 1673 - 0194 . 2016. 11. 103 　　[中图分类号] TP309.3 [文献标识码] A [文章编号] 1673 - 0194（2016）11- 0172- 03 　　0 引 言 　　云计算、大数据、内存计算、移动互联等技术的发展改变了应用程序的交付方式，大大提高了系统的计算性能，使得用户对OLTP、OLAP功能的需求以及对系统IOPS的要求不断提高，为传统的存储技术带来了挑战。自20世纪80年代以来CPU和基于硬盘的存储系统在性能上的差距以指数级逐年提高[1]。为满足应用程序对高I/O性能的需要，IT专业人员通过使用高速缓存、磁盘阵列方案和智能固件等方法来弥补这一差距，但传统硬盘（HDD）存储系统仍难以满足现代应用程序的要求。尤其在油气行业，高密度采集已经成为油气勘探整个趋势，地质勘探已经进入了大数据时代，勘探公司的在线地震数据达到PB级，高性能计算HPC集群在地震解释方面的应用更凸显了底层存储的性能缺陷。“十二五”期间油气公司物联网、移动应用以及ERP应用集成建设持续推进将产生海量数据，同时云的建设极大提高IT资源灵活部署能力和数据计算能力，对底层存储架构的高效性、可扩展性及智能性提出更高的要求。 　　软件定义存储为基于容量的存储提供了虚拟化和自动化，对内部磁盘、闪存系统和外部存储系统等来自不同地点的物理存储容量进行联邦式管理，通过全面的企业级功能支持高性能和数据密集型工作负载，结合闪存的高I/O性能以及硬盘智能分层技术能够大大提高系统性能[2]。油气公司开始通过部署软件定义存储来解决数据量激增和存储架构灵活性的问题。 　　1 软件定义存储概述 　　1.1 软件定义存储含义 　　数据中心存储架构从最初的为满足关键系统的性能与容量需求的竖井式存储架构，发展到以虚拟化架构来整合数据中心的存储资源，提供按需的存储服务和自动化运维，并进一步向存储系统的智能化、敏捷化演进。近年来，软件定义网络、软件定义数据中心等新技术革新了基础设施架构，同样软件定义的理念被引入到存储领域，软件定义存储架构是存储虚拟化后的进一步发展[3]。 　　软件定义存储（Software Defined Storage，SDS）基于存储的虚拟化，将存储应用程序移出每个阵列控制器并移进存储虚拟机管理程序或者存储虚拟化服务器，实现各种存储资源的软件定义，以服务的形式提供给应用，满足应用按需自动化使用存储的需求[4]。从软件定义存储的含义可以看出，其以存储虚拟化为基础向存储智能化有了进一步的发展。存储虚拟化一般只能在专门的硬件设备上使用，很多量身定做的设备才能进行存储虚拟化，而软件定义存储则没有设备限制。软件定义的存储是现有操作系统和管理软件的结合，能够完整地实现用户对存储系统的部署、管理、监控、调整等多个要求，为存储系统带来灵活、自由和高可用等特点。其优点主要包括：①形成存储资源池，采用低成本的商用存储硬件，降低采购成本；②可线性扩展的容量和性能，应用闪存技术最高可达数百万IOPS；③弹性基础架构，高可用和安全性，通过跨服务器的数据冗余机制，保障了多台服务器同时故障的情况下，数据仍然可读写、不丢失；④具有高度自动化，易于配置和管理，提供基于服务的基础设施分配，按不同应用特征优化工作负载和存储资源。 　　1.2 软件定义存储相关产品 　　软件定义存储产品的厂商排名里既有传统的硬件供应商，如EMC、IBM、HP等，也有新兴的初创公司，如Nexenta、Tintri、Solidfire等。以软件定义存储技术为代表的新一代存储革新需求一方面让老牌企业正在走出技术锁定的老路，另一方面也使新兴企业凭借开放的创新切入新需求市场。 　　由于不像软件定义网络那样较早地建立起了业界标准，当前各厂商在软件定义存储上的技术发展表现各异。供应商的软件定义存储技术实现可以归纳为数据保持、数据服务和数据消费三层。数据保持层是指存储媒介对数据存储方法的优化，如RAID、纠删码等；数据服务层是指存储媒介对数据活动的优化，如重删、备份、压缩、加密等；数据消费层是指数据的访问接口，如块存储、文件存储、对象存储、Hadoop系统等。 　　软件定义存储要求数据控制与管理的解耦表现为这三层服务的独立