大数据环境下气象档案管理初探.docx

?

?

大数据环境下气象档案管理初探

?

?

刘霄王凌李宏

[摘要]大数据时代的来临，给气象档案工作带来了挑战和机遇，如何充分利用现有的技术和设备，保证气象档案数据的长期安全性，并不断提高管理、服务和开发利用能力，已成为气象部门必须面对的新课题。笔者结合气象档案工作体会，谈些关于大数据时代气象档案管理的点滴认识，以期抛砖引玉之功。

[关键词]大数据；气象档案；气象数据；管理

doi：10.3969/j.issn.1673-0194.2016.05.106

[]G818；G641[]A[]1673-0194（2016）05-0194-02

0引言

随着信息技术和互联网络的飞速发展，大数据时代呼啸而至，“大数据时代在不断改造传统产业的同时，也对传统档案管理模式提出了挑战”。气象现代化建设进程的加快，使综合气象观测系统取得了飞速发展，大气探测数据种类越来越繁多，时空分布密度不断加大，气象数据以几何级数激增；与此同时，在中国气象局统筹下，各省历史气象资料数字化项目正稳步有序推进，馆藏数字化资源也越来越多。气象数据已呈现较显著的大数据特征。如何充分利用现有的技术和设备，保证气象数据的长期安全性，并不断提高管理、服务和开发利用能力，已成为气象部门必须面对的新课题。下面结合笔者在多年气象档案工作中的体会，谈些关于大数据时代气象档案管理的认识。

1大数据环境下气象档案管理面临的挑战

1.1气象大数据海量增长带来收集与存储的压力

近年来，在中国气象局统一布置安排下，各省气象档案馆馆藏档案数字化工作有序开展，数字化档案数量急剧增多，每年几乎以TB量级递增。同时，随着新型气象观探测业务建设的快速发展，越来越多的气象观探测数据和预报分析产品源源不断地涌向气象档案馆。这些海量生成的数字化档案，不仅种类繁多，内容复杂，而且数量巨大，对收集流程、存储架构等方面提出更高的要求。如何安全有效地接收、存储和利用数量如此巨大的数字档案信息资源已成为目前亟待解决的问题。

1.2传统的档案管理模式已越来越不适应气象大数据管理的需要

近年来，气象档案管理的基础设施条件虽然得到了较大改善，各省气象档案馆都建立了档案管理系统，但基本上是单机版的目录管理系统，有的甚至停留在工作表单模式，无法提供全文检索和利用。归档模式为“数据暂存—下载刻盘—载体归档”，过程较为烦琐。档案管理模式的传统色彩仍然浓厚，效率低下，不能满足多元化、社会化档案利用需求。另外，档案管理集约化水平不高，各业务单位都自建数据库，形成档案信息孤岛，造成严重资源浪费和数据安全隐患。

1.3服务手段单一落后不能满足气象大数据的利用需求

尽管气象档案信息化程度在逐步深入，但服务手段仍停留在以离线式的上门阅档为主（只不过提供的不再是纸质载体，而是机读载体而已），大多只是提供原材料或进行简单的临时性的初级加工，比较缺乏数据分析和产品研发能力，更不能实现面向用户提供数据网络推送服务和一站式检索服务。

2大数据环境下气象档案管理思路

笔者认为大数据时代气象档案管理的总体思路就是紧紧围绕“收齐、管好、用活”开展业务工作，搭建软硬件平台，建设好一套管理系统，培养好一支档案业务队伍。

2.1档案信息管理系统的开发利用

气象大数据不期而至，我们急需一个功能强大的综合信息管理系统进行信息采集、管理和提供利用。在设计开发这个系统时需要体现三个“一体化”思想。

2.1.1数据档案一体化

2011年，中国气象局正式启动实时和历史气象资料一体化业务建设工作，重点解决长期困扰全国资料业务发展的历史、实时资料收集处理和服务分离、数据不一致等问题，通过建立气象资料业务系统（MDOS）及相应业务流程和业务规范，明确台站、省级和国家级资料业务分工，全面提升省级质量控制和数据处理能力，全国实现地面全要素实时资料滚动质控与评估、疑误信息查询反馈和同步更正。2015年7月，实时历史气象资料一体化业务将正式投入业务运行。气象档案业务正可趁此良机，参照“文档一体化”理念，建立“数据档案一体化”模式，归档节点前移，数据一经质控完毕，即刻自动归档入库，并自动形成相应的元数据信息与之关联，避免重复劳动，提高工作效率。从数据形成开始，实行全过程监管，确保数据安全、完整。

2.1.2目录全文一体化

清华大学档案馆高级工程师薛四新提出目录全文一体化管理方案，核心思想就是将电子档案分门别类，整理成方便检索的目录信息，并通过电子原文（图形、图像、照片、文档、多媒体文件等）关联挂接、存取访问等现代技术手段，实现电子档案目录与电子档案全文信息的一体化管理。鉴于目前我国气象档案管理现状及现代气象业务“无纸化”发展趋势，笔者认为应结合气象档案和气象业务实际，依托气象部门信息网络系统及现代化气象业