基于大数据Hadoop技术对电网客户违约情况探析及预测.docVIP

基于大数据Hadoop技术对电网客户违约情况探析及预测 　　随着智能电网的发展，电网公司的各类业务应用产生了海量的数据，基于Hadoop的大数据处理技术是以分布式文件系统为基础的大规模并行数据处理平台，它能充分利用硬件集群的资源，进行并行计算和内存流计算，大大提高了数据运算分析的效率，全面支撑电网公司如客户欠费风险预测等对海量准实时数据处理分析的需求 【关键词】大数据 Hadoop 存储计算 数据挖掘 用电行为 1 公司数据建设现状分析 随着公司“三集五大”管理体系和调控、运监、客服三中心的全面建设，信息系统已全面融入公司生产经营管理业务的各个方面，积累了大量的结构化数据、非结构化数据、海量历史准实时数据和地理信息数据，有效支撑企业数据共享融合、分析决策系统建设。但随着公司各业务系统数据量不断增大，以及数据价值挖掘需求的增长，针对平台需要在横向扩展、实时快速处理能力方面进一步提升，针对应用功能建设需要在跨业务跨部门分析能力方面需进一步优化。为适应公司信息化管理手段，需引入大数据关键技术的研究、验证和示范应用来促进公司支撑一体化、专业化、扁平化、集约化管理，构建新型电网企业运营体系，增强价值创造力和核心竞争力 2 大数据在企业的应用情况 在国外，互联网企业已经对大数据技术进行了深度探索和研究，并投入关键应用领域。同时，传统的金融、电信、能源等领域也引入大数据技术，用于解决数据处理环节上遇到的瓶颈，创新了业务应用，助力企业从激烈的竞争环境中脱颖而出 与国外市场相比，国内除少数大型的互联网公司外，绝大多数企业对于大数据的研究与应用还处于探索阶段，但这些局部的合理尝试已经为这些企业带来了丰厚回报和成长优势，这也初步验证了“大数据”在中国所具有的广阔应用前景 3 大数据应用关键技术 3.1 分布式存储及实时计算能力 Hadoop技术体系中具备全分布式架构、数据块粒度切分、在线扩容减容、复制备份等关键技术，支撑了安全的PB级以上规模数据在线存储，为解决公司逐渐膨胀的数据体量提供存储支撑 3.2 海量异构数据存储及处理 针对电网业务中海量规模的结构化、非结构化数据存储，传统的集中式、阵列式存储模式，存在扩容性不强、可靠性及高可用性不佳等问题。采用Hadoop技术体系中分布式存储技术，可有效解决海量数据存储的难题，且利用Hadoop提供Map/Reduce统一的并行计算框架对非结构化、半结构化数据进行综合分析利用，解决了公司海量异构数据类型的共存及计算分析问题 3.3 高效智能的数据挖掘与分析工具 针对公司各业务系统中已存在，即将采集的低价值密度的数据，Hadoop提供了丰富的统计分析、多维分析、挖掘算法库、数据挖掘工具，满足公司对价值密度较低的数据的分析需求 4 研究场景 4.1 研究内容 完成基于客户历史违章用电的检查结果，构建客户违约违章用电模型，评估客户当前是否正在发生违约违章风险 4.2 研究方法 分类预测输出的预测结果是给出待预测对象从属于某个类别的判断。例如：根据客户历史用电数据，判断其为可能违约用电客户或为正常用电客户 4.3 算法选型 在实际工程应用中采用较多的算法主要有：决策树、BP神经网络、朴素贝叶斯、Logistic回归等。通过对比研究，我们采用决策树算法的随机森林算法，其精确度优于其它算法，且其运行速度较快 4.4 算法实验 取乌鲁木齐公司地区2014年12个月及2015年1至3月的客户基础信息、用电信息及缴费行为信息数据为原始数据进行实验 第1组实验： 训练集：2014年10、11、12月份数据 测试集：随机森林算法预测得到的2015年1月份数据 验证集：2015年1月份真实数据 混淆矩阵： 预测正常客户 预测坏客户 客户总数 实际正常客户 2368823 294896 2663719 实际坏客户 249459 214699 464158 查准率：42.13%，查全率：46.26% 第2组实验（非居民） 训练集：2014年10、11、12月份数据，采样1000条记录 测试集：随机森林算法预测得到的2015年2月份数据 验证集：2015年2月份真实数据 混淆矩阵： 预测正常客?? 预测坏客户 客户总数 实际正常客户 138655 61965 200620 实际坏客户 32885 52108 84993 查准率：45.68%，查全率：61.31% 第3组实验（非居民） 训练集：2014年10、11、12月份数据，采样1000条记录 测试集：随机森林算法预测得到的2015年1月份数据 验证集：2015年