提高气象数据查询速度存储分析.docVIP

提高气象数据查询速度存储分析 　　摘要：在气象现代化的发展进程中，将来各种各样的实时观测数据会越来越多，除了数据的准确性以外，对数据的时效性要求也越来越高。数据的时效包括采集传输时效和查询应用时效。采集传输时效有严格气象报文观测传输规范和制度，该文重点研究分析如何提高实时观测数据的查询应用时效。 　　关键词：结构化数据；数据库；数据库索引；列式存储；行式存储 　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2014）06-1170-03 　　Analysis of Meteorological Data Storage to Improve Query Speed 　　FU Ya-yu，YUAN Yan-fen，LIANG Shen-qing，YE Qiu-ying 　　（Guangdong Meteorological Information Centre， Guangzhou 510080， China） 　　Abstract： In the process of the development of modern meteorology， a variety of real-time observation data in the future will be more and more， in addition to data accuracy， timeliness of data requirements are also increasing. Timeliness of data collection and transmission， including timeliness and query applications aging. There are strict time collection and transmission of meteorological observations packet transmission specifications and system， this paper focuses on the analysis of how to improve the query application timeliness real-time observation data. 　　Key words： structured data； database； database indexes； columns； storage； storage line 　　为建设幸福广东，提高预报准确率，广东省要在2015年基本实现气象现代化。信息中心要完成“三个一”工作。即一分钟资料到桌面、一套一体化的数据库、一个实时分析数据集，满足“资料好用、用好资料”的要求。 　　这“三个一”的工作，其实要求信息中心将及时收到的实时观测资料进行处理、入库，然后提供给预报员和其他应用人员使用，而不是将原始资料直接送到预报员桌面。这就要求我们需要对成千上万的原始数据进行快速的处理入库和提供高效的快速查询、统计、分析机制。 　　信息中心每天收到各种各样的气象资料，其中有结构化数据（如国家自动站和区域站等）和非结构化数据（如雷达产品，云图等）。在自动站资料的应用中，预报员希望从自动站观测数据中快速提取如温度、雨量、风向和风速等要素进行平均或累计等???算。 　　众所周知，数据查询的速度和数据的存储方式都以索引密切相关。信息中心保证大量的实时数据入库的同时，还需要想办法改善数据的存储方式来满足快速查询的要求。在现有的存储技术架构中，是否还有更好的办法来提升数据查询速度呢？我们先来了解计算机的数据存储方式。 　　1 数据的存储方式 　　目前，在计算机的数据处理过程中，计算机会将数据存储到存储介质（通常指硬盘）里，存储的方式通常有行式存储和列式存储。 　　行式存储是将每条记录数据以行的形式依次存储到存储介质中的过程。 　　例如下面的表： 　　这个简单表的每条记录包括观测站点的Name（名称），IIIII（站号），Temp（温度）和Rain（雨量）。 　　这个表要存储在计算机的内存（RAM）和存储（硬盘）中。数据库必须把这个简单的二维表转换成一个个“字节”中，由操作系统按顺序写到内存或硬盘中。 　　行式数据库把一行中的数据值串在一起存储起来，然后再存储下一行的数据，以此类推。 　　列式存储是将每条记录数据以列的形式依次存储到存储介质中的过程。 　　列式数据库把一列中的数据值串在一起存储起来，然后再存储下一列的数据，以此类推。 　　2 两种存储方式的优缺点 　　行式存储数据库因为同一条记录的行存储在一起，所以记录写入速度快，读取一条记录和同一条记录