基于大数据平台信息系统深化应用开发设计及实现.docVIP

基于大数据平台信息系统深化应用开发设计及实现 　　摘 要：大数据具有数据体量巨大、数据类型多样、处理速度快、价值密度低等特点。随着“十二五”信息化建设的发展，电力公司四大数据中心和各类业务系统存储了数百T的数据。该文首先介绍了大数据和大数据平台的概念，在此基础上分析大数据技术在电力企业中的应用场景。最后，设计并实现了基于大数据平台的信息系统深化应用。 　　关键词：大数据 Hadoop 数据分析 应用场景 　　中图分类号：TP27 文献标识码：A 文章编号：1674-098X（2017）02（c）-0151-02 　　1 大数据平台概述 　　随着信息技术的高速发展，云计算、物联网、移动应用、社交网络等纷纷得到空前的发展，全球数据信息量呈指数式爆炸增长之势。数据作为企业、社会和国家层面的重要战略资源，被社会各个领域所重视，相继开始其数据的挖掘应用进程，学术界、商界、政府、企业等都将不可避免地进入“大数据时代”。 　　大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）、Veracity（真实性）[1]。大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。 　　大数据平台中应用最广泛的是Hadoop架构，Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS[2]。 　　2 应用场景设计 　　该项目涉及的基于大数据分析场景主要包括电网规划研究、市场售电量预测分析、配变重过载预警分析3个主题场景的设计研发。其中，电网规划研究包括：电网运行情况分析、电网薄弱环节监测。市场售电量预测分析包括：售电量特性监测分析、售电量预测分析。配变重过载预警分析包括：短期配变重过载预警分析、中期配变重过载预警分析。 　　2.1 电网规划研究 　　通过分析省市县三级社会经济数据，对电网运行情况进行分析，展示各级供电分区与市辖县级供电分区等不同口径的供电指标；结合电网规模线路数据，提供多维度报表数据。结合各电压等级电网结构数据，以及变电站、配电台区、线路等基础数据，进行电网现状分析，同时提供关键指标和报表数据导出功能，供进一步详细分析，从规划设计、建设改造等环节入手，优化电网运行方式，为电网规划提供支撑依据。 　　通过分析电网设备负载、重过载以及线路卡脖子等相关信息，实施电网薄弱环节监测。依托电网关键运行指标计算结果，分析电网薄弱环节，对不同区域的电网运行情况进行评价，及时发现电网运行问题，提升输、配电网的计算分析能力，支撑规划部门发现电网存在问题，合理分配电网设施下一步投资方向。 　　2.2 市场售电量预测分析 　　针对售电量特性监测开展分析。利用营销基础数据平台、用电信息采集系统、营销档案系统等系统，以及营销大数据存储技术，结合相关负荷特性指标，基于从时间、高低压用户（含大客户及高风险客户）、行业及用电类别等多个维度进行建模、详细剖析和监测月均负荷及日负荷情况，分析全省范围的负荷分布情况。同时，对永久性减容销户、暂停/恢复、客户群、电能替代、气象、分布式电源、自备电厂、大用户直购电等影响因素进行关联分析和负荷监测。 　　同时对售电量预测进行分析。以售电量影响因素分析结果为基础，构建售电量预测模型和用电趋势预测模型，按照日期类型（如节假日及特殊假期）进行区别预测，同时针对大用户、气象敏感度用户群、面临淘汰的高耗能行业、政策电价用电用户等进行售电预测，并对预测结果进行持续跟踪，发现偏差后及时修正。通过负荷监测，预测各地区短期售电量，对负荷数据进行统计分析，支撑有序用电执行效果评估。 　　2.3 配变重过载预警分析 　　基于大数据挖掘技术的配变重过载预测分析，能够更加准确，运用回归算法，构建重过载预警模型，建设每周预报（短期）、迎峰度夏、农排专题（中期）分析场景，实现短期和中期配变重过载情况预测。场景将对全市及各区持续发生的配变持续重过载情况进行跟踪分析，重点监测特定时段及区域的配变负载（如采暖期间负荷突然增加），对异常数据进行捕获和钻取分析（如配变容量数据不准确）。同时，对短期（周）及中期（年）的重过载情况进行预测，并与实际发生情况进行比对。 　　3 系统架构设计及实现 　　此项目基于Hadoop框架进行设计开发，Hadoop框架中有MapReduce、Hbase和HDFS三大核心设计。MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（归约）”，是它们的主要思想，可以把一个复杂的任务划分为若干个简单的任务分发给网络上的