TIGGE数据自动化归档技术研究与实现.pdfVIP

第 43卷第 4期 气 象 科 技 Vo1．43，NO．4 2015年 8月 METEoROLOGICAI SCIENCE AND TECHNoLOGY Aug．2015 TIGGE数据 自动化归档技术研究与实现 张玺 杨菲菲 董峰 (国家气象信息中心，北京 100081) 摘要 为了解决 TIGGE海量数据归档以及长时间序列历史归档数据服务效率问题 ，通过设计数据 自动化归档模 型 ，研究 TIGGE数据组织结构和历史数据服务需求 ，开发了TIGGE批量 自动化 归档功能 ，实现 了TIGGE数据的 大批量 自动 归档 ，改进了历史数据归档组织方式和磁带卷组织结构 ，显著提高 了长时间序列 的历史归档数据服务 效率 ，在实际应用 中取得了良好 的效果 。TIGGE海量数据归档技术的实现为提高其它数据归档和服务效率有一 定的借鉴作用。 关键词 TIGGE；自动归档 ；数据服务 TIGGE数据 的存储容量为 1．6PB，备份软件为 引言 IBM TSM(TivoliStorageManager)。。。若简单地 中国气 象 局 (CMA)从 2006年 开 始 建设 采用备份软件保存 TIGGE数据 ，随着 资料不 断增 TIGGE(THORPEX InteractiveGrand GlobalEn— 长 ，其数据量会超过磁带库 的总容量 ，磁带必须出库 semble全球多模式集合预报)归档 中心 ，与 ECM— 保存 ，而出库磁带离开备份软件则无法恢复数据 ，为 WF(欧洲中期天气预报中心)、NCAR(美 国国家大 磁带管理和数据恢复带来 了不便。 气研究 中心)并列为世界三大 TIGGE归档 中心_】]。 因此 ，TIGGE原始数据适合采用标准 TAR格 TIGGE数据产品从 2006年 1O月开展了与全球 1O 式的磁带归档方式进行永久存储 ，便于磁带读取和 个业务 中心[2]的数据交换业务 ，建成 了 7×24的全 出入库管理 ，也保证了TIGGE数据 的安全性和完 球业务系统 。从 2006年到 2014年 4月 ，随着各 中 整性。通过设计数据 自动化归档模型 ，研究 TIGGE 心模式分辨率的提高 ，数据交换量也不断提升 ，目前 数据组织结构和历史数据服务需求 ，开发 TIGGE 每天交换 的数据量为 550GB／天 ，文件数为 80万 数据批量 自动化归档功能 ，改进历史数据归档组织 个 ／天，累计数据交换总量约为 1PB。 方式和磁带卷组织结构，提高长序列历史数据的服 TIGGE项 目是全球性 的科研项 目，TIGGE数 务效率。 据对于科学研究有着重要意义 ，面向的用户大多数 1 TIGGE交换数据结构 是科研用户 ，资料使用 的特点是 1次性获取长时间 序列 的历史数据 ，数据量大，时效性要求不高，数据 TIGGE数据采用 UnidataLDM (LocalData 访问频率也不高 ，用户更关注 的是长时间序列资料 Manager)软件进行传输 。该软件是一套集选择、获 的完整性。鉴于 TIGGE资料使用 的特点，更适合 取 、管理和分发任意数据产 品等功能为一体 的软件 采用空问大且访问频率低 的低端存储介质 ，而在线 系统。该系统以事件驱动数据分发，进入该系统 的 磁盘空间只能满足 3个月 的数据存储 ，不能保存长 任何数据都 能通过数据产品队列尽可能快地得到 时间序列的历史数据，因此磁带保存是较为合理 的 处理_4J。 存储方式 。目前 中国气象