数据完整率和有效性研究论文.pdfVIP

2011年全国电力企业信息化大会论文集 o 数据完整率和有效性研究 杨旭。刘宇 三峡梯调通信中心 摘要：三峡水库调度自动化系统负责收集、分析近200个遥测水位数据。但是由于设备、通信等原因，异常数据 将会在系统中产生，有时也会缺数，这些因素对数据质量有一定的影响。而在海量数据中进行人工错误数据查找， 不太现实，本文就解决此问题，引入完整率和有效性衡量数据质量，利用数据挖掘技术进行了可行性分析，为解决 同类问题提供参考。 关键词：数据挖掘；可视化；三峡；水调系统 0引言 1基本分析思想及模型 三峡水调自动化系统是三峡梯调通信中心开展 对影响数据质量的因素完整率和有效性，需要 水情预报、水库调度等核心业务的生产管理平台， 分别进行分析。 是三峡梯调通信中心最重要的自动化系统。一期工 1．1完整率 程于2003年建成并投入使用，共有128个站点，其 数据是否完整的来源在于实时数据是否完整， 中水位站46个，二期工程(即屏山一寸滩区间水情 因此为了简化问题，减少人为因素造成的干扰，完 遥测系统)于2009年6月完成系统验收，共有299整率分析只分析实时数据。实时数据完整率(Real DataFull 个遥测站，其中水位站77个，同年接入金沙江水情 Rate)，简称RDFR)为实际数据接收数 遥测系统145个遥测站，其中水位站64个。 量与预期数据接收数量的比值，公式如下： 水位数据在系统中根据不同的应用采取不同的 髓缀(t)嚣慧×l嗽 (1) 采样频率，其中30秒的站点主要用于重点水位的实 时控制和监视(如5号站为葛洲坝上游控制站和风 AN(t)在某单位时间内的实际数量： 凰山为三峡水库上游控制站)；5分钟至l小时的站 EN(t)在某单位时间内的预期数量： 点为一般情况下的监视，主要参与出入库计算计算 完整率的概念简单，主要在于利用可视化工具 和水文预报等计算。无论采样频率是30秒还是1小 对单位时间为1月，1日，1小时不同维度的数据进 时，所有数据首先存储于实时表中。值班员和数据 行钻取，找到哪里缺数，何时缺数。为此对实时表 维护人员在日常维护、监视、以及数据计算过程中 按照数据仓库结构建立物化视图并进行重算，实现 发现缺数和异常，当缺数和异常数据对出入库计算 由月汇总表到小时数据的钻取。 等关键任务有影响时，会立即对数据进行及时修正。 1．2有效性 其他未被发现的异常数据和发现但由于不清楚如何 正如引言中所描述，数据在应用的过程中，会 修改的数据，就会在实时表中作为脏数据隐藏起来。 发现各种不合规律，异常的数据，但是部分异常数 这些脏数据经过数据计算流程，将数据传递给了小 据是正确的，只是由于其变幅大或是其他原因被模 时统计表，日统计表，月统计表以此影响整个数据 型算法所发现，与错误的数据混在一起，因此如何 质量。为了自动发现缺数和异常数据，必须找到统 处理这些数据，评价这些数据成为一个急需解决的 计缺数和异常数据的方法，并将它们通过可视化工 问题。因此只能在定性的基础上进行定量的分析。 具快速展示出来。因此，需要引入数据挖掘相关技 从而引入异常点的挖掘作为判断有效性的方法。 术对海量的水位数据进行分析。 (1)异常点的定义：一个异常点是这样的数据 569 2。11年全国电女☆n信息化大会m文鬻 0 点，