第29章 数据处理.docVIP

第29章 数据处理 29.1 概述 本章概述了将从仪器直接获取的观测数据，处理（或转换）为可供气象用户使用（特别是国际交换）的数据的过程。WMO已制定了正式的用于国际交流的数据处理规定，详见WMO（1981）。一些正式的补充规定见WMO（1989）。第一编第1章包含部分建议和定义。 29.1.1 定义 在讨论与测量大气变量有关的仪器时，有必要根据级别对观测数据进行分类。这个方案已引入全球大气研究计划（GARP）数据处理系统，并由WMO（1981）定义。 Ⅰ级数据，一般是与地理坐标有关的、由相当物理单位表示的仪器读数。它们需要转化成标准的气象变量（参见第一编第1章）。Ⅰ级数据大多来自于电信号(如电压)的处理，称为原始数据。例如，卫星辐射率和水汽压。 Ⅱ级数据称为气象参数。它们可直接来自于仪器（如许多简单仪器场合），或Ⅰ级数据导出。例如，传感器不能测量能见度（它是Ⅱ级数据），但是，传感器能测量消光系统，这是一个Ⅰ级数据。 Ⅲ级数据是那些内部格式一致的数据集，一般为格点形式。它们不在本《指南》的讨论范围之内。 国际数据交换采用Ⅱ级数据或Ⅲ级数据。 29.1.2 气象要求 全世界的观测站每天要定时进行多次观测，并得出标准格式的观测报告，以交换一致的观测方法所获得的高质量的观测资料。而不管世界上，甚至在同一国家内，使用的各种不同的传感器。为实现以上目标，花了许多年的时间，并投入了大量的人力和物力进行内容、质量和格式的标准化。随着大气观测自动化的流行，保持现有标准的一致性和原始数据转变为Ⅰ级数据及原始和I级数据转变为Ⅱ级数据开发相关的补充标准变得越来越重要。 29.1.3 数据处理程序 传感器的作用是感应一个大气变量，并将它量化为一个有用信号。然而，传感器可能会对环境产生一些次生反应，如需要温度校准，它们的输出会出现各种误差如漂移和噪声。经数据采集系统正确取样后的输出信号必须根据全系统校准值进行分度和线性化，然后过滤或平均。信号在这个阶段，或更早，成为原始数据。原始数据必须被转换为对应传感器所感应的物理量的值，该测量值即为Ⅰ级数据，假如不需要进一步的转换或也可能是Ⅱ级数据，对某些应用还必须导出附加变量。在处理数据的各个阶段可能要对外部影响，如传感器安置环境，进行修正及质量控制。 因此，从常规或自动气象站（AWSs）获取的资料在可用之前必须进行许多工序。整个程序称作数据处理，它包括以下部分或全部功能的执行： （a）大气变量转换； （b）传感器输出调节； （c）数据采集和取样； （d）校准信息的应用； （e）传感器的线性化输出； （f）统计值（如平均值）的提取； （g）导出相关变量； （h）误差修正； （i）数据质量控制； （j）数据记录和存储； （k）编辑历史沿革资料 （l）信息格式化； （m）信息内容检查； （n）发送信息。 以上功能的执行次序大致是连续的，排在第一的总是第一个执行，排在最后的总是最后执行。线性化可能紧跟在或内置在传感器输出的后面，但是，它必须在求平均之前。在不同级别的数据处理过程中，都应该进行专门的质量控制和误差修正。由于这些功能的应用，观测站可以以精简的方式运行，而不必包括所有的功能。 本《指南》中，重要的数据处理程序的功能有：适当抽样过程的选择，校准信息的应用，在需要时的线性化，过滤和/或平均，导出相关变量，误差修正，数据质量控制，编辑历史沿革资料。这也是本章要讨论的题目。抽样、过滤和平均方面更细的信息见第1章，质量管理见第3章。 数据被处理以后，还必须通过编码、传输和接收、显示和归档等变为可用。这些是别的WMO手册和指南所讨论的范围。一个观测系统如果不连接到将数据分发给用户的其它系统，则是不完整的。数据的质量就是由这些链中最弱的一环决定的。因此，在每一个阶段都需要进行质量控制。 虽然，很多现存的数据处理技术和标准化的人工技巧也能被自动气象站使用，然而，自动站有一些特殊要求。这是由于自动站包括了各种不同的传感器，及提取报文元素的标准化计算和报文自身的格式。一方面，不是所有的传感器都易于和自动化设备接口。而且，自动站必须恢复和显露嵌入在表格中的计算分析表达式。编报规则还必须被精确地表达为计算机算机语言，而那些为人工观测准备的自然语言指令就不需要太完整和清楚。甚至，如云状识别等一些人工功能还不能用目前的或可预见的技术实现自动化。 自动站的数据采集和数据处理软件的较详细讨论见第二编第1章，在一定程上度上，这些讨论对气象上电子传感器的任何应用都通用。设计自动天气站算法的一些总体考虑和具体实例见WMO（1987）。 处理气象数据时，通常有一个修正程序、算法或方案，而且从好的到无用的有效取值范围内可能有许多近似值。经验强力表明，从长远看，修正方法是最有效的。这种方法很直接，对素质要求很低，而且一旦采用就不需要进一步的关