前兆观测异常数据检测方法研究.pdfVIP

第 9卷 增刊 震灾防御技术 Vo1．9，Supp1． 2014年 10月 TechnologyforEa~hquakeDisasterPrevention 0ct．，20l4 张聪聪，王秀英，2014．前兆观测异常数据检测方法研究．震灾防御技术，9(增刊)：615—621．doi：10．11899／zzfy2014s107 前兆观测异常数据检测方法研究 张聪聪 王秀英 (中国地震局地壳应力研究所，北京 100085) 摘要 借鉴数据挖掘中的算法，本文设计了一种前兆时序模式表示方法，利用该方法可以快速检测数 据序列中大幅突跳、阶跃等比较明显的异常数据。实际观测数据应用结果表明，该方法对于大量数据 的异常检测效率很高，对前兆数据的预处理工作具有积极意义。 关键词：地震前兆观测 异常数据 数据检测 时间序列 模式表示 引言 地震前兆观测是进行地震预报和其他科学研究的基础，前兆观测产出数据的数量和质量直 接决定了这些研究的过程和结果。因此，前兆观测一直是我国地震监测工作中非常重要的一项 内容。经过多年的发展完善，我国的地震前兆观测系统己建成一个覆盖全国范围、涉及多个学 科、实现智能化的网络观测系统。现在运行的数字化前兆观测系统在数据产 出精度和采样率方 面较之前都有很大程度的提高，使得数据量激增，导致前兆台站、前兆台网每 日数据汇集、数 据检查的工作量也相应大大增加。同时，由于观测过程中不可避免地受到各种因素，如观测环 境、雷击、雨量、停电、电源 电压变化、外界干扰、电子设备 自身因素等的影响，观测数据中 会出现各种 “异常”数据，如数据毛刺、大幅突跳、台阶跃变等情况，明显是受干扰造成的。 在进行其他的分析和应用之前需要对这种异常数据情况进行前期处理，对于这种 “异常”数据 的预处理工作也是前兆数据生产过程中一项常规性的工作内容。因此，前兆台站、前兆台网每 日工作中需要检查、处理这些观测数据的工作非常繁重。目前，这种预处理工作主要靠人工逐 一 检查的方式进行。由于数据量巨大，人工检查的方式在效率上不甚理想。另外，人工检查过 程存在很大的主观性，不同的人有不同的 “异常”判定标准，导致对异常数据的认定存在很多 人为影响因素。如果能通过合适的判定方法，由软件实现对 “异常”数据的快速 自动检查、定 位，则可以大大减少台网工作人员的工作强度，不仅提高了工作效率，更为重要的是软件检验 方法对所有的数据都是一致的，不存在人为主观影响，可保证异常数据判别标准的客观性。 目前工作 中对于前兆观测数据前期预处理方法的研究还较少。王建国等 (2007)采用一 [收稿 日期] 2014—06．02 [作者简介] 张聪聪，女，生于 1989年 。硕士研究生。主要研究领域：地震前兆数据挖掘及应用研究。E—mail：zhangcongcong 555@163．com [通讯作者] 王秀英，女，生于 1972年。研究员。主要研究领域：地震前兆观测技术研究及地震前兆数据挖掘及应用研究。 E—mail：xiuyw@sohu．com 6l6 震灾防御技术 9卷 阶差分法、日变幅度法和均方差法对数字化的前兆数据进行异常识别，对存在异常的台站测 项进行 自动报警。张兴国等 (2011)通过利用相关分析、差分检测、固体潮相关检测、方差 检测、台阶检测与金 日光第 四统计力学群子统计理论等多种检测方法，实现了对数据的自动 异常检测与报警。这些工作对于前兆数据预处理方法的提供具有积极的意义。但是这些方法 在实际使用时还存在如下问题：不同的数据类型需要不同的处理方法，某些方法只能识别特 定类型的 “异常”数据，方法的通用性较差；另外，这些方法的自动检测效果也不太理想， 如均方差方法在很多种情况下无法检测出非常明显的突跳异常、差分法在观测数据间变化比 较陡峭的情况下会发生大量误检等。 鉴于这些问题，本文尝试了利用数据挖掘中的一些方法进行前兆观测 “异常”数据 的自 动检测定位工作，并以实际产出数据对方法进行了验证。实验结果表明，该方法对于大量数 据的异常检测不仅速度快，