大数据分析在供电企业中应用初探.docVIP

大数据分析在供电企业中应用初探 　　摘 要：随着现代科技研究体系的不断健全，数据信息应用方案不断得到更新，在这个过程中，数据的积累速度逐渐加快，对于企业的健康可持续发展影响深远。为了提升现阶段供电企业的市场竞争力，进行企业大数据管理及应用方案的优化是必要的，该文就大数据概念及应用意义展开分析，旨在进行科学性供电解决方案的制定，实现供电企业整体运作效率的提升。 　　关键词：供电企业；大数据分析；大数据处理；用电信息；处理方案 　　DOI：10.16640/j.cnki.37-1222/t.2017.15.133 　　1 大数据概念及意义 　　1.1 概念 　　大数据又称为海量数据，这些数据在未经处理前不具备任何参考价值，无法作为参考或辅助决策的依据，但这些数据只要经过恰当的处理与分析就能将海量数据转化为有参考价值的数据，从而提升企业的服务水平及竞争力[1]。 　　1.2 意义 　　随着互联网技术的不断普及，社会大众的日常生活与大数据的分析、应用模块密切相关，其涉及到购物、电力、天气、交通等各个领域。在这个过程中，通过对不同类型数据信息的分析及应用，可能得出某些隐秘的信息及模式。比如在不违法的前提下通过对数字医疗记录信息数据的利用，进行社会大众健康趋势的分析，进行疑难杂症核心因素的分析及控制，通过对这些数据关系的整合及利用，进行健康与周围环境关系模型的建立。又如通过对购物网站交易数据信息的分析，得出消费者的购物喜好规律。 　　在供电企业系统工作过程中，大数据分析从用户注册、缴费完成（包括现金缴费、银联缴费、代扣等）至核销对账的完成，所有类型数据均存储在系统中，构成电力营销系统大数据，使企业的信息管理更加便捷，同时能有效的识别和分析潜在风险，并制定相应的防范措施[2]。 　　2 大数据特点 　　数据量是大数据技术的基本特点，在这个过程中，通过对互联网技术等的使用，实现数据信息的被动、主动积累，由于大规模数据信息的存在，给企业的处理工作带来了巨大的挑战，其具体工作程序有数据提取模块、资料数据的管理及存储模块等。 　　数据量大小、数据类型是影响大数据技术分析的关键性要素，在这个过程中，数据类型主要分为三种形式，分别为非结构化数据、结构化数据、半结构化数据。结构化数据可以存储在数据库中，非结构化数据不存在预定的数据模型，无法将其存入数据库内。在传统的数据分析模块，其更加重视历史数据信息的分析，这些数据的产生单位一般是日或者月，然后进行经营计划方案的制定。随着社会经济发展环境的不断变化，传统的数据分析技术已经不能满足企业发展的要求，这就必须进行数据信息的实时性处理，确保数据的价值性，适应供电企业的实际发展要求。 　　3 大数据处理平台 　　实践证明，通过对Hadoop分散式平台、Hadoop核心技术、Map Reduce分散式算法、HDFS分布式文件系统的应用，有利于满足现阶段供电企业大数据存储、处理及分析工作的要求，Hadoop是针对MapReduce框架所实现一个具有分散式运算框架的开放式平台，包含有著名的分布式文件系统（HDFS）、分散式数据处理框架（Map Reduce），分散式数据存储系统，提供可靠、高效、可伸缩的分散式处理平台[3]。 　　通过对Hadoop技术的应用，可以实现企业各类运行数据的采集，这需要进行一定数量电脑的使用，将存储在HDFS数据存储区内，为了提升信息的整体安全性，需要做好相关数据信息的备份处理工作，避免计算机故障而产生的数据丢失问题，实现工作整体安全性的提升。在这个过程中，需要进行Hadoop平台的使用，通过对Map Reduce分散式处理技术的应用，实现供电企业结构化大数据的处理，提升运算系统的整体工作准确性。 　　在大数据批量任务处理模块中，Hadoop MapReduce扮演着重要的工作地位，但是这种技术存在一定的局限性，每执行一个Map Reduce程序，都需要在数据收集的前提下，在任务执行完毕后需要进行功任务的执行，这种技术不适合在高迭代运算工作中进行应用。 　　Spark是一种机遇内存运算框架且与Hadoop兼容，Spark的运算特性适合迭代运算，Spark再函数运算后并不会将结果输出，减少功任务执行次数，进而增加效率，因此Spark特别适合于反复迭代的机器学习机算法及交叉式对比分析，NoSQL根据存储方式可分为Key-value数据库、Column-oriented数据库、Document-oriented数据库及Graph-oriented数据库[4]。 　　4 大数据应用案例 　　为了适应现阶段供电企业的工作要求，进行大数据解决技术的优化是必要的，从而进行大规模数据信息问题的解决。在这个过程中，很多供电企业进行了Hadoop数据平台的构建，将售电数据