Aprior算法在海滨观测数据相关性检验中的应用.pdfVIP

海 洋 开 发 与 管理 35 Aprior算法在海滨观测数据相关性 检验中的应用 戴文娟，雒伟民，陈靓瑜，张 峰，高静霞，黄雅馨 (国家海洋局东海信息中心 上海市 200120) 摘 要 ：针对 目前海滨观测数据相关性检验通常采用人工筛选判断的方式 ，提出一种经典的关联规则数据 挖掘算法一Aprior算法应用于海滨观测数据的相关性检验。提高相关性检验的效率和准确度 ，完善海滨观 测数据的自动化质量控制系统。 关键词 ：关联规则；Aprior算法 ；相关性检验 数据的质量控制是指采用一定方法、模型和 境时，风浪数据往往可能突破正常的合理性范围 参数，判断资料质量可靠性与准确性，并进行质 或产生非连续性突变，此时只有相关检验就能较 量标识的处理过程，数据质量控制是数据质量评 准确地判断该数据变化是否符合这种极端天气的 估的基础。对海洋观测数据进行适当的处理和质 特性从而能够判定当前数据采集传感器是否处于 量控制，能够妥善解决资料中可能存在的错误， 正常工作状态 (极端天气带来数据采集传感器故 提高资料的可靠性与准确性。 目前海洋数据质量 障或异常频率较高)。 控制中选用的检验方法主要包括两类 ：第一类是 选择经典的关联规则Aprior算法解决海滨数 常规检验，主要有位置检验 、气候学范围检验、 据相关性检验的问题，将海滨观测数据属性分成 合理性检验 (季节性 、局地性)、时间连续性、 3类 ：小于等于Min 大于Min且小于Max 异常天气限制、双传感器检验、内部一致性检验 大于等于Max 通过历史数据的挖掘建立这不同 等方法构成；第二类为特殊检验 ，主要 由相关检 观测要素3种屙f生的最小支持度和置信度，当极端 验、人工比对等方法构成…。第一类常规检验均 天气出现时通过比较不同观测要素出现变化的频 针对某一特定的观测要素，目前也是运用较多的 繁l生是否与历史数据挖掘出的最小支持度和置信 检验方式。而第二类特殊检验是针对两个或者多 度一致，来判断观测要素是否符合相关性检 2_卅。 个观测要素在同一时段 内产生数据的相互检验 ， 因观测要紊I生质不同、变化规律不同因而为相关 1 Apriori算法 检验带来了一定的复杂度。 正因为相关检验的复杂性，目前在海滨观测 Apriori算法是挖掘关联规则的一种重要方 数据质量控制中尚未有较通用的相关检验方法， 法，该算法属于递归统计计算，枚举出其可能出 一 般是通过人工气象预报经验对常规检验中可疑 现的所有频繁项集，非常适用于变化规律较一致 的数据进行相关检验。每年 6-9月份是东海台 的海滨观测数据。只需要一次性 自下而上遍历整 风、风暴潮等极端天气频发时刻，当极端天气过 个数据库 ，建立频繁集出现规则，以后每次相关 收稿 日期 ：2014—10—16 检验只需要调用相应规则 比对即可l5l6I。 小支持度一样。然后由频集产生强关联规则，这 1．1 关联规则的定义 些规则必须满足最小支持度和最小可信度。然后 定义 1，选择一个事物数据库 D，D= {，l， 使用第 1步找到的频集产生期望的规则，产生只 ，2，…， ，…，，n}，，是其中每个事物集 ，而 包含集合的项的所有规则，其中每一条规则的右 则是其中一项事物 ，它可以由若干个项 目构成， 部只有一项，这里采用的是中规则的定义。一旦 可以表示为 ， ， ，……}，我们称为项 目集 这些规则被生成，那么只有那些