电价业务分析系统设计与实现..docxVIP

电价业务分析系统设计与实现 随着电价业务的不断拓展和用户数据量的迅猛增长，实现对电价 业务数据的深入挖掘与高效运用显得越来越重要。然而，随着业务的 不断发展和对电价业务管理的要求不断提高，迫切需要提升对价格政 策的把握与执行管理水平。因此，通过设计适合各级电价业务人员使 用的电价业务分析系统，对推动和支撐电价业务管理，实现输配电价 改革的管理目标，进一步推动和完善输配电价分析系统的建设具有重 要的意义。 1平台架构 电价业务分析系统，主要基于大数据平台和“全国统一电力市场 技术支撑系统〃、“营销业务应用系统〃，其中大数据平台提供计算资 源、存储资源、应用集成技术、数据分析技术、应用展现技术等一体 化资源服务。平台通过获取相关系统的输配电计量点档案、测点档案、 电能信息等数据，采用自动和手动触发获取方式，实现输配电相关的 计量点数据、测点数据、电价等数据抽取。通过对抽取数据的汇集、 同步转换，完成对结构化、非结构化数据存储、分析及处理。 2主要技术 2.1数据采集与接入 数据采集与接入服务主要负责将全国统一电力市场技术支撑系 统和营销业务应用系统的部分相关数据接入至大数据平台中，包括数 据抽取、数据消息队列管理、补招数据接入等三大模块。 2.1.1数据抽取 数据抽取模块通过访问全国统一电力市场技术支撐系统和营销 业务系统的源端数据库，分别抽取历史数据和增量数据。从数据源抽 取的数据不一定完全满足大数据平台的要求，例如数据格式的不一致、 数据输入错误、数据不完整等，因此有必要对抽取出的数据进行数据 转换和加工。抽取的数据经过处理生成约定标准格式的E文件。E文 件的格式可以根据不同的需求进行更改，包括E文件的命名、数据行 数、接入的字段等。 2.1.2数据消息队列管理 通过应用分布式消息队列可有效屏蔽冲击，对数据进行异步缓冲。 设置数据在分布式消息队列中的存储结构，实现高速写入，并降低转 换开销；同时需实现基于分布式消息队列的故障恢复机制，以确保数 据不丢失。 2.1.3补招数据接入 由于某些原因，系统可能存在数据丢失的情况。所以，针对丢失 的数据，要提供数据接入的接口，用以维护数据的完整性。 2.2数据存储 系统中的不同类型的数据，接入至大数据平台后，需要具备易存 储、查询效率高的特点。数据存储基于HBase集群实现。对于表名规 则，可以按照时间进行分表，数据量较小的可以按月分表，数据量较 大的可以每月分一张表，其表名规则为“系统代码—业务类型代码+6 月年月时间/4月年份〃；在设计rowkey规则时，可结合时间等固定属 性形成灵活可配置的复合行键，这样可以使得同一时刻点同一设备下 的相关数据邻近；对于列名规则，一个列族下有多个列，列名取属性 值。例如，对于计量设备数据，列名可以取计量表的设备ID。 2.3数据分析 数据分析基于大数据平台中的分布式计算引擎Spark实现。结合 ApacheSpark中适用于数据分析的工具库，将己采集到的电力数据作 为训练的数据集，运用合适的监督学习算法，从给定的训练数据集中 学习出一个模型，当新的电力数据到来时，可以根据这个模型预测结 果。根据业务需求，将相关的业务数据进行分析，得出相应的指标参 数，辅助业务运营与决策。 2.4主要应用 基于大数据平台的电价分析系统，在对相关业务的趋势把握、关 键因素分析和用电规律展示，都发挥着重要的角色。 2.4.1电价关键指标分析 营销业务应用系统包含的种类包括客户档案数据、抄表数据以及 电费数据等多种数据，基于这些单一数据对电价的分析，往往难以达 到理想的效果。结合大数据平台的分布式计算引擎，将多种类型的数 据进行关联组合分析，以多个维度作为特征值，进行电价的分析。 2.4.2力调电费分析 力调电费，指供电公司根据客户一段时间内（如一个月或年）所 使用的有无功电量来计算其平均功率因数，并据此收取的相关电费。 电费单上的力调电费的计费数量，是根据功率因数的高低，加收得总 电费的百分数（即“调整率“），这个“调整率“根据相应功率因数的高 低是不同的，功率因数高，费率就低，功率因数低，费率就高。 2.4.3其他应用 基于系统的电价业务数据分析成果，依托于大数据平台强大的存 储能力和计算能力、并结合营销业务系统的建设经验，开展上网电价 变动因素分析、大用户分析、两部制电价执行分析、标杆电价分析、 环保电价执行分析、峰谷分时电价执行、电价码自助查询、上网侧自 助查询、专项辅助服务价格测算等应用的研究与实现。 3平台建设 电价业务分析系统，依托于某网省大数据平台建设及电价信息化 建设主要成果，实现大数据量输配电价的分析。接入数据71.6亿条， 数据量达2.3TB；构建了典型的电价分析与查询等综合应用，补充了 现有营销业务应用系统在数据处理和分析应用方面的不足，逐步完善