中科院海洋所海量数据存储之道.docVIP

中科院海洋所海量数据存储之道 　　众所周知，海洋数据是一种典型的大数据，如何利用存储架构来安全存储海洋大数据，纷繁复杂的数据，如何很好地安全管理并很好的调用，是海洋数据管理所面临的一个挑战。针对存储架构中的诸多问题，中国科学院海洋研究所提出了自己的解决方案，锁定海洋大数据的生命周期，并且基于此建立起海洋大数据的完美存储解决方案。存储系统稳的稳定运行极大地提升了中科院海洋所高性能计算集群的计算能力，满足了海洋所对存储系统的海量数据存取、高可靠性和高可扩展性等要求。为科研工作提供了有力支撑，项目完成周期缩短了将近30%。 　　黄海海洋观测研究站和东海海洋科学综合观测浮标站是中国近海海洋观测研究系统建设的重要组成部分，通过位于青岛的陆基数据接收站每十分钟进行一次数据采集，包括气象数据（气温、湿度、气压、风速等）、水文数据（波浪、水温、盐度、海流等）和水质数据（温盐、浊度、叶绿素等），日复一日，年复一年。而这些定点、长期连续海洋观测数据将会被存储下来，为海洋科学研究和地方经济发展提供支撑。 　　这些海量的数据，存储在中国科学院海洋研究所（以下简称“海洋研究所”）的数据中心，为海洋科学研究工作提供了源源不断的科研依据。 　　海量数据亟待高性能存储 　　中国科学院海洋研究所是国家知识产权局全国专利战略试点单位，建所 60 多年来，重点在蓝色（海洋）农业优质、高效、持续发展的理论基础与关键技术，海洋环境与生态系统动力过程，海洋环流与浅海动力过程，以及大陆边缘地质演化与资源环境效应等领域开展了许多开创性和奠基性工作，取得了 900 多项科研成果，为我国国民经济建设、国家安全和海洋科学技术的发展做出了重大创新性贡献。 　　海洋科学的研究是一项浩繁的工程，涉及到基础研究和应用探索，需要对大量的信息数据进行高效可靠的处理。因此，海洋信息系统的建设至关重要。中科院海洋所高性能计算中心的高性能集群计算能力达到了10万亿次/秒，为海洋信息的研究提供了很多便利。 　　随着海洋科学研究的不断深入，以及全社会对海洋信息需求的不断扩大，海洋信息的需求量和实效性要求也越来越高。为了适应新的形势，中科院海洋所决定建立一个大型海洋信息资料中心，在此基础上建立一个统一的信息存储、处理和发布系统，不仅为所里科研提供信息，还可以为社会提供海洋信息服务。在这种情况下，建立一个既满足大容量数据存储、保护，具有高可靠性，又能保证多主机、多用户、多应用系统并发数据访问性能的存储系统成为系统建设的关键。 　　1个中心+5个平台 　　根除海量存储忧患 　　结合现实的业务需求，海洋研究所提出构建自己数据中心的想法，并很快进行了项目实施。数据中心的总体方案规划，即海洋科研数据产品研发和数据收集/分发管理平台，通过此平台实现了块数据、文件数据的集中存储与管理。后期，来自近海观测网络、海洋开放共享航次、潜标观测以及大量历史调查、分析测试这五大平台的数据将逐渐迁移、存储到该数据中心上，实现统一存储和管理。同时，数据中心还将管理运行近海观测网络陆基站，承担近海观测网络数据的接收、处理和数据产品发布。 　　数据中心存储系统每秒读写可以达到50万，即使是海洋研究所极高的并发数量，也可以游刃有余。在扩展性方面，存储资源池可以无缝的接入新的存储设备，并且随着容量的增加，数据存储性能也将呈现线性增加的趋势，满足其海量存储的需求。 　　存储安全 　　助力数据中心维稳 　　那些数量巨大、难于收集、处理、分析的数据集被业界人称大数据，亦指那些在传统基础设施中长期保存的数据。这里的“大”有几层含义，它可以形容组织的大小，而更重要的是，它界定了企业中IT基础设施的规模。海洋研究所收集存储的海洋数据信息就是大数据，对于海洋研究所数据中心数据的安全性一直备受瞩目。因为定量数据采集工作关系到整个研究所的评估评价，数据的准确性、全面性和安全性至关重要。 　　比如中国科学院的科考船，出海考察带回来的从中国近海到西太平洋的海洋综合观测数据，攸关西太平洋暖池变异对中国气候的影响、临近大洋对中国近海环境的影响、海洋生物多样性和深海环境与生命探测等课题的研究，一旦丢失，损失不可估量。 　　海洋研究所在数据中心的建设中增加了云存储的技术，为海洋研究所数据中心吃上了“定心丸”。信息中心在存储设计时采用全冗余架构，实现零单点故障，可以说在安全性上无可挑剔。 　　在数据的备份保护上，海洋研究所信息中心也做了充分考虑。基于存储设备的快照、卷复制等功能可以实现海洋研究所数据的本地备份。另外，在发生火灾、地震等自然灾害，本地备份的数据也同样会遭受破坏，同样会对系统造成灾难性后果。存储技术可提供更高级别的数据保护功能，可以实现基于存储的数据容灾，在异地存放数据副本，即便发生了不可抗力带来的灾难时，也可以快速地恢复数