电力信息系统数据清理研究.pdfVIP

2011·9甘肃·兰州 电力信息系统数据清理研究 卫祥 (甘肃省电力公司信息通信中心。甘肃省兰州市730000) 【摘要】在国内，随着信息化的推广，越来越多的电力企业建立了信息系统，电力信息化得不 断扩大，信息系统存储的数据量也呈几何倍数增长。而其中的脏数据也越来越多，不仅影响了信息服 务质量。还导致了资源的浪费和昂贵的费用。本文提出一种分布式的数据清理方法来提高数据清理的 效率，尤其是面对海量数据，更可以显示出分布式的优势。”1 【关键词】Hadoop；分布式；数据清理；海量数据 Data i矗南衄明矗∞system cle|ni吣弘婀凹d Weixiang 730050 GansuElectricPower Information＆CommunicationCenterLanzhou Corporation the andmoreoftheelectric establishedinformation 【剐bl岫魄】IIIdomestic，more enterprise power in information informationhavebeen thedataofthe the system promotionstage，Power expanded,Therefore informationalsofastGrowth themoreandmore dataNot affectstheinformation system too，And dirty only 匏lvioe alsoledtothewasteof and costs．The adistributeddata resources quality，but expensive paperdesigned methodthatcarl the ofdata mass showsthe data,the cleaning improveei嚣ciency cleaning．especiallyfacingway of distributed． advantage data 【K町袖】Hadoop；Distributed；Datacleaning；Mass 0前言 近年来，随着信息化程度的不断提高，以及包括电力、金融、电信、军事等企业单位都建立了信 息系统用于改善管理方法和提高管理效率。信息化程度的扩大，信息系统的信息量不断爆炸式增长， 随着互联网应用的急剧增多，信息系统需求也是极具增大，尤其是企业级的信息系统，不仅存储数据 量需求加大，存储访问流量和存储数据的完整性，安全性，可靠性，高效性的需求也越来越高。在过 去的10年里，很多行业提供的信息系统容量也呈几何倍数增长。随着数据的增长，管理保存数据的成 本及数据中心空间和能耗也变得越来越严重。即使信息系统的设计方案和标准规划做的非常完美，经 过长时间的使用，数据中都会充斥着脏数据，用户会越来越不满意数据的质量。很多情况都会影响存 放数据的质量。比