基于大数据的电力通信网运行维护分析 - CICED 2016.DOC

基于大数据的电力通信网运行维护分析 施展1 曾瑛孙栎倩2 1广东电网有限责任公司电力调度控制中心，广州，510699，中国 2网络与交换技术国家重点实验室，北京邮电大学，北京，100876，中国 摘 要： 为支撑电力通信网的可靠运行和合理建设需求，运用大数据技术，依据电力通信网络设备的台账、故障及检修数据来分析电力通信网的设备运行维护状况。提出基于大数据的电力通信网运行维护分析方法，对实际的网络数据进行了挖掘，并根据挖掘结果从检修效果，检修成本、检修工作的时间分布性等角度来分析通信网的设备运行维护情况。 关 键 词：电力通信网；设备运行维护；大数据；数据挖掘； 1 引言 当前，针对非结构化、异构多元化的数据和信息，如何通过大数据的处理来获取其中的价值已经成为了学术界和工业界的研究热点。例如网络服务商通过对用户行为数据的挖掘，分析出用户的个性化喜好，从而为广告的定向投放提供依据。而网络运营商通过对参数配置数据、告警数据和KPI大数据的综合分析，诊断出网络中潜在的异常和对应的影响因素，从而为网络服务质量的保证提供有效的决策[2]。然而，目前电力通信网的运行和维护数据的分析，依然以传统的经验判决为主，缺乏大数据时代的高效挖掘和分析手段。 基于以上背景，本文针对电力通信网的设备台账、运行和维护数据、建设数据等庞大的信息，利用大数据技术进行分析和处理。基于指标的特征和预处理后的数据集，利用MapReduce和FP-Growth算法来完成大数据集合中各指标之间的关联关系，并为设备运行维护的特征给出有效的分析结论。基于以上分析，本文将电力通信网不同系统中的台账、故障，检修等数据作为输入源，通过大数据的处理，获取设备运行维护中的检修效果、成本以及在时间和空间上的规律及其相关性。在大数据的处理过程中，通过数据预处理和数据挖掘分析两个步骤，来完成整个设备运行维护的分析过程， 具体来说，基于电力通信网的数据特征，在进行大数据处理时，首先建立设备运行维护分析指标，并探讨其影响因素。之后依据数据特征，通过数据清洗、数据集成和数据规约来完成数据的预处理，获取有效的数据集。在数据集之上，联合MapReduce和FP-growth技术来完成对大数据集的处理，获取有效的分析结果。 2 设备运行维护分析指标及影响因素 2.1 检修效果 检修效果主要用来查验某类型的设备E在检修后发生故障的情况，设表示设备发生故障，表示设备e的上次检修时间，则表示设备e在检修后的时刻发生了故障，因此的大小决定了对该设备e检修的效果。 2.2 检修成本 2.2.1 时间开销 时间开销表述检修的工作开始时间和完工时间之间的差值，设某设备e（）检修的开始时间为，完工时间为，则对于检修设备类型E的平均时间开销如下式所示： (1) 其中为该检修设备类型的所有检修次数，为固定时间开销，表示实际的工程有效实施时间跨度，表示其它时间开销，主要受到所检修设备偏远程度的影响。 2.2.2 综合成本 综合成本考虑除需时间开销外，还需考虑人力上的消耗，对某设备e的检修综合成本可由下式表示： (2) 其中和表示人力因素和时间因素的影响程度系数。根据该式容易得出某设备类型集E（）的平均综合成本及全部综合成本。 2.3 检修时间分布性 检修时间分布性描述在检修设备类型确定后，检修工作量在时间尺度上（年份，月度，周级）的分布，如下式所示： (3) 其中表示在观察时间范围内，设备e是否被检修，若检修该值为1，否则为0。 3数据预处理 3.1 数据清理 1）对于电力通信网维护数据中的缺乏值，因为其特殊含义，将其忽略； 2）对于噪声数据，采用利群点分析来进行。即通过简单的距离分析，找出显著偏离其余对象的数据点，并将其搁置。 3.2 数据集成 在电力通信网维护运营数据给定的属性之间，通过相关分析可以根据可用的数据，度量一个属性能在多大程度上覆盖另一个减少相关性高的属性，可以实现数据的归约表示，降低维度。 对于标称数据属性A和B，我们使用（卡方）检验： (4) 其中是联合事件(Ai, Bj)的观测频度，是(Ai, Bj)的期望频度，可以用下式计算： (5) 其中，n是数据元组的个数，是A上具有值ai的元组个数，而是B上具有值bj的元组个数。 对于数值属性，我们使用相关系数进行检验： (6) 其中，n是元组的个数，ai、bj分别是元组i在A和B上的值，、分别是A和B的均值，、分别是A和B的标