海量水文数据处理和管理技术的探讨.docVIP

海量水文数据处理和管理技术的探讨 杨晓斌 （上海市浦东新区水文水资源管理署，上海 200129） 摘要：随着科学技术的迅猛发展，水文测验技术也快速进步。我国水文行业从传统水文向现代化水文迈进，水文数据量成数量级增长，对水文数据的处理和管理提出了更高的要求。本文探讨目前国内对海量水文数据处理和管理面临的挑战，并且介绍德国Kisters公司经十几年研究开发的水文管理软件Wiski在解决这些问题方面的成果，进而介绍在我署的实际应用情况。 关键词：时间序列；水文数据；海量数据；数据库 1 水文数据采集和处理技术的发展 建国初我国水文行业主要以人工观测和纸制自记仪器收集水文数据为主。“75.8”特大暴雨后，我国开始研制水情自动测报系统，1980年第一套水情自动测报系统设备投入运行[4]。计算机和自动化技术的迅猛发展，特别是国家公用无线通信交换网（GSM网和CDMA网）的建成，为现代化水文数据采集传输技术的进步提供了完备的技术保障，水文自动测报系统在全国飞速发展，水利部于2003年8月1日正式实施《水文自动测报系统技术规范（SL61-2003）》。 水文数据采集方式的发展，使我国水文数据处理方式出现了变化。上世纪70年代前基本上都是依靠人工计算；随着个人计算机日益普及，80年代开始有些单位将水文整编程序移植到了Dos操作系统的个人电脑上；进入90年代中期，可视化操作系统Windows的推出，许多单位开始开发可视化的整编软件；2000年后，由长委水文局和黄委水文局组织开发了Windows平台下的适合南北方的水文资料整编软件[5]。 2 海量水文数据处理和管理面临的挑战 水文技术向现代化发展，无人值守自动测报水文站点快速推广，水文数据系列越来越长，数据量也越来越大，因此水文数据的处理和管理面临新的巨大的挑战。 2.1 数据量的挑战 以前我们的水文数据采集方式都以人工观测和自记仪器为主，数据以纸制方式存储，数据量有限。随着电子自动化技术的发展，水文仪器开始使用电子设备，如ADCP流量计、压力水位计、翻斗雨量计等，数据均以电子文档形式存储。同时通讯技术的发展，使得无人值守自动测报站推广成为可能，站网密度进而加大，而且电子仪器的数据采集频率理论上都可以达到秒级，因此水文数据量成数据量级的增长。如此庞大的数据量要等待处理，使水文工作者面临巨大的新的挑战。 2.2 数据处理方式的挑战 原来水文数据量有限，对数据采用人工处理或加上简单的计算机辅助就可以完成。可是现代化的水文数据是海量的，必须采用计算机处理为主，人工处理为辅的方式。水文数据的处理和管理软件应运而生，要求软件不仅具有高效性、可靠性，而且界面可视化、人性化、人机交互友好化。 2.3 软件开发方法的挑战 目前国内水文数据处理和管理软件基本都是基于项目开发，一个项目配套开发相应软件，项目完成后软件开发也相应完成。这种方法必须在软件开发前详细掌握用户的需求，成果才能比较满意的完成用户对原有业务的需求。但是如果用户有新需求，因为项目已经结束就很难得到满足，而且软件的升级维护也会成为问题。另外这种软件针对性强，如有新项目原有软件很难移植，财力物力浪费严重。 2.4 软件设计思路的挑战 目前我们所使用的大部分水文软件基本上都是把人工初步处理完的数据，计算整编成我们需要的各种报表，报表是我们最终要的成果，因此软件设计的重点在于对初步处理完的数据进行求和、平均、极值等计算和报表的输出。但是水文站点向无人值守自动测报站发展，进入软件的就是原始水文数据，并而且站网站点的管理等也需要在软件之内管理。软件应该注重对原始水文数据进行合理性检查、完整性检查、修改和删除错误数据等，以提高实时数据的质量，同时应该结合站网管理，如测站考证、水尺零高变动等，这样才能保证报表成果的可靠性。这些有机合理的结合也是目前水文软件开发面临的难题。 3 WIKSI软件的特点 Water Information System Kisters (Wiski)软件是德国Kisters公司经过经十几年研发的水文管理软件。Kisters公司于1963年由工学硕士Heinz Kisters所创建，至今已经发展成为包括环境信息、IT、土木工程三大经营部门的股份公司，拥有200多位职工，在德国、西班牙、法国、美国、澳大利亚及中国等其他地区设有分公司。 3.1 强大的数据库管理 Wiski软件经过十几年的改进，目前有一个强大的数据库系统，支持当前通用的关系数据库管理系统Sybase、MS SQLServer、Oracle、Informix和Ingres等。Wiski软件不仅管理水文测验得到的海量数据（如水位、雨量等），而且结合管理测站信息（如测站沿革、水尺零高变动等）、单位换算、时区改正、河网管理等等，我们所用的信息大都已设计在数据库中