基于大数据平台电价业务分析系统设计与实现.docVIP

基于大数据平台电价业务分析系统设计与实现 　　在分析了电力营销业务系统面临的问题的基础上，阐述了电价分析系统建设的意义，描述了系统的总体架构和主要技术，介绍了该系统的建设与实践经验。该系统的建设。本文结合大数据平台优势，实现了多源数据的高度融合共享和深度挖掘分析，对探究电力信息化建设具有重要的实际和指导意义。 　　【关键词】电网营销 电价分析 大数据 　　随着电价业务的不断拓展和用户数据量的迅猛增长，实现对电价业务数据的深入挖掘与高效运用显得越来越重要。然而，随着业务的不断发展和对电价业务管理的要求不断提高，迫切需要提升对价格政策的把握与执行管理水平。因此，通过设计适合各级电价业务人员使用的电价业务分析系统，对推动和支撑电价业务管理，实现输配电价改革的管理目标，进一步推动和完善输配电价分析系统的建设具有重要的意义。 　　1 平台架构 　　电价业务分析系统，主要基于大数据平台和“全国统一电力市场技术支撑系统”、“营销业务应用系统”，其中大数据平台提供计算资源、存储资源、应用集成技术、数据分析技术、应用展现技术等一体化资源服务。 　　平台通过获取相关系统的输配电计量点档案、测点档案、电能信息等数据，采用自动和手动触发获取方式，实现输配电相关的计量点数据、测点数据、电价等数据抽取。通过对抽取数据的汇集、同步转换，完成对结构化、非结构化数据存储、分析及处理。系统总体架构如图1所示。 　　2 主要技术 　　2.1 数据采集与接入 　　数据采集与接入服务主要负责将全国统一电力市场技术支撑系统和营销业务应用系统的部分相关数据接入至大数据平台中，包括数据抽取、数据消息队列管理、补招数据接入等三大模块。具体的流程如图2。 　　2.1.1 数据抽取 　　数据抽取模块通过访问全国统一电力市场技术支撑系统和营销业务系统的源端数据库，分别抽取历史数据和增量数据。从数据源抽取的数据不一定完全满足大数据平台的要求，例如数据格式的不一致、数据输入错误、数据不完整等，因此有必要对抽取出的数据进行数据转换和加工。抽取的数据经过处理生成约定标准格式的E文件。E文件的格式可以根据不同的需求进行更改，包括E文件的命名、数据行数、接入的字段等。 　　2.1.2 数据消息队列管理 　　通过应用分布式消息队列可有效屏蔽冲击，对数据进行异步缓冲。设置数据在分布式消息队列中的存储结构，实现高速写入，并降低转换开销；同时需实现基于分布式消息队列的故障恢复机制，以确保数据不丢失。 　　2.1.3 补招数据接入 　　由于某些原因，系统可能存在数据丢失的情况。所以，针对丢失的数据，要提供数据接入的接口，用以维护数据的完整性。 　　2.2 数据存储 　　系统中的不同类型的数据，接入至大数据平台后，需要具备易存储、查询效率高的特点。数据存储基于HBase集群实现。对于表名规则，可以按照时间进行分表，数据量较小的可以按月分表，数据量较大的可以每月分一张表，其表名规则为“系统代码_业务类型代码+6月年月时间/4月年份”；在设计rowkey规则时，可结合时间等固定属性形成灵活可配置的复合行键，这样可以使得同一时刻点同一设备下的相关数据邻近；对于列名规则，一个列族下有多个列，列名取属性值。例如，对于计量设备数据，列名可以取计量表的设备ID。 　　2.3 数据分析 　　数据分析基于大数据平台中的分布式计算引擎Spark实现。结合Apache Spark中适用于数据分析的工具库，将已采集到的电力数据作为训练的数据集，运用合适的监督学习算法，从给定的训练数据集中学习出一个模型，当新的电力数据到来时，可以根据这个模型预测结果。根据业务需求，将相关的业务数据进行分析，得出相应的指标参数，辅助业务运营与决策。 　　2.4 主要应用 　　基于大数据平台的电价分析系统，在对相关业务的趋势把握、关键因素分析和用电规律展示，都发挥着重要的角色。 　　2.4.1 电价关键指标分析 　　营销业务应用系统包含的种类包括客户档案数据、抄表数据以及电费数据等多种数据，基于这些单一数据对电价的分析，往往难以达到理想的效果。结合大数据平台的分布式计算引擎，将多种类型的数据进行关联组合分析，以多个维度作为特征值，进行电价的分析。 　　2.4.2 力调电费分析 　　力调电费，指供电公司根据客户一段时间内（如一个月或年）所使用的有无功电量来计算其平均功率因数，并据此收取的相关电费。电费单上的力调电费的计费数量，是根据功率因数的高低，加收得总电费的百分数（即“调整率”），这个“调整率”根据相应功率因数的高低是不同的，功率因数高，费率就低，功率因数低，费率就高。 　　若某月有功电量是M，无功电量是N，功率因数是T，则月平均功率因数是： 　　若功率因数标准是0.9，则将实际功率因数与其进