基于大数据背景下提高供电局数据质量对策分析.docxVIP

基于大数据背景下提高供电局数据质量对策分析 摘要：随着电网智能化的发展，电力信息系统变得更为复杂，其数据 也随之增大，从而引起了各种的数据质量问题，严重妨碍了电力信息系统 的使用。文章阐述了电力大数据的特点以及影响数据质量的因素，并在此 基础上提出了相应的对策。 关键词：大数据；数据质量；供电局；电网智能化；电力信息系统文 献标识码： A 随着电力营销、生产、资产等主业务信息系统都采取了“大集中”模 式，数据质量的问题也逐步凸显。为了解决这些数据质量问题，供电系统 逐渐引用了大数据技术。所以这对这些大数据和大数据技术，供电局应引 入有效、可行方法，来提高数据质量。 1 电力大数据特征 目前，电力大数据指的是大数据的理论、技术以及思想在电力行业中 的实践，它提供了从数据的采集向来到最后的展示较为完善的解决方案。 1.1 价值密度比较低 普通而言，数据的价值是取决于在大量的数据中挖掘有效的信息。比 如，在输变电设备的检测系统中，采集的大部份数据是正常的，仅有少量 的不正常，但是这些非正常的数据是对设备状态检测的关键性数据。 1.2 具有交互的特点 目前，电网企业正朝以用户为核心的方向进行转变，用户对供电系统 服务质量的满意程度将会是很重要的考核指标，所以，供电系统可以根据 数据的分析与挖掘，对用户的需求进行了解，来提高更高质量的服务。此 外，交互特点还表现在用户在用电的高峰期会向电网进行供电。 1.3 处理的速度较快 在对数据进行决策时，对能够实时与在线处理的要求逐渐提高，因此 必须提高对数据进行处理的速度，符合决策的要求，在极短的时间内对大 量数据进行相关分析。 1.4 类型繁多 主要包括非结构化、半结构化和结构化。信息系统的建立加快了半结 构化类型数据的增多，比如视频、音频以及图片等。此外，电网企业还要 必备能源温和象等外部数据，才干保证供电的可靠性。 1.5 体量庞大 已经从 TB 级升到 PB 级。信息化的电网的建立使数据可以进行实时的 采集与传输，间隔仅为秒级，使数据量呈指数增长。但是对大量数据的应 用与存储技术还不完善，数据的价值不能得到良好的挖掘。 2 数据质量的影响因素 影响供电行业数据质量的原因非常多，而依据数据产生的节点与时间， 能够把这些因素归为以下三类： 2.1 数据的导入过程 该过程普通指的是利用集成、接口或者手工等方式把数据输入对应仓库 的这一程序。这一程序对数据产生的作用主要体现在：(1)人工方式的 录入方式，会因为一些没办法预防的原因，而导致结果难以预测；(2) 对系统进行重建或者升级维护时，时常会对旧系统进行淘汰或者合并，因此 整顿数据与原来的数据之间的转换问题较为复杂，面临着严峻的挑战； (3)对原来的数据进行转换时，没有可以依靠的源系统的元数据，为源 数据自身并不完备；(4)业务系统前台操作员录入不规范或者系统对录入 的数据未作校验，导致业务单据流程归档后，保存到后台数据库的原始数 据就存在数据质量问题。 2.2 导致数据变坏的过程 会导致数据产生损坏的原因有不少：(1)不能对变化地对数据进行 捕获，各个系统间通常具有不少的接口，在对接口进行修改时，通常不会 把对它产生影响的统一修改；(2)在专业知识或者人员流失后，新来人 员对数据的意义进行准确的分析比较艰难；(3)数据的处理过程是一个 自动化的操作，可能会发生某些验证界面很难涵盖数据的所有特点，也可 能是因为性能上的原因将其屏蔽了，所以一旦浮现错误，在将大量的数据 反馈给客户的时候，将会被谴责，用户对数据质量的感知度也会降低。 2.3 系统内部过程 系统自身在对数据进行整理分析的时候也会对其质量产生一定的影响， 主要是对数据进行处理、清洗和清除的过程。第一，在对数据进行处理过 程中，一旦处理程序发生变化，就会导致质量问题的浮现，而新产生的对 数据进行采集的程序同样会导致类似的现象，此外，如果在不对的时间发 生突发事件，打破数据应有的状态，那末正确的程序也会导致不正确结果 的浮现，而该问题较为隐蔽，不易被查出；第二，对数据进行清洗的过程， 导致危（wei）险发生的原因普通在于数据质量本身的内部相关性与复杂性。在解 决了某一问题后，也许会导致不少类似或者其他有关数据的问题的浮现。 数据清洗的自动化是由计算机程序操控的，而程序本身存在bug，对大量 数据的记录产生一定的影响，数据质量的说明书不能体现实际数据的需要， 因此清洗的结果也许会与理论上的模型相符合，但对实际使用而言依旧是 不对的；第三，对数据进行清除的过程，该过程可能会不小心对其他有关 数据也进行了清除。 3 提高数据质量的对策 3.1 建立完善的数据质量保障体系 建立一个可行、有效、系统的数据质量的保障体系，应该使其具备这 六大特点：(1)能够对数据质量进行较为全面的管理；(