基于Hadoop的钢铁企业节能潜力大数据分析系统设计与实现.doc

龙源期刊网 基于Hadoop的钢铁企业节能潜力大数据分析系统设计与实现作者：王成辉 王坚 戴毅茹来源：《电脑知识与技术》2017年第03期 ????????摘要：为了提高钢铁企业的能耗水平，提出一种基于Hadoop的节能潜力大数据分析系统构建方法，并对该系统进行实例应用，实例证明该方法在钢铁企业节能潜力分析中，具有方便操作、易于推广的特点。 ????????关键词：节能潜力；大数据分析；Hadoop ????????中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2017）03-0016-03 ????????Design and Implementation of Energy Saving Potential Data Analysis System for Iron and Steel Enterprises Based on Hadoop ????????WANG Cheng-hui， WANG Jian， DAI Yi-ru ????????（CIMS Research Center，Tongji University， Shanghai 201804， China） ????????Abstract： In order to improve the level of energy consumption of iron and steel enterprises， put forward a kind of energy saving potential of big data analysis based on Hadoop system construction method， and application of the system， an example proves that the method analysis in the energy saving potential of the iron and steel enterprise， has the characteristics of convenient operation and easy popularization. ????????Key words： energy saving potential； big data analysis； Hadoop ????????我国做为能耗大国，能源消耗量十分巨大，然而，能源利用率却远远低于发达国家，这个问题严重制约了国家可持续发展战略的落实。钢铁企业作为国民经济的支柱产业，提高钢铁企业的能耗水平，对我国建设“资源节约型”国家战略部署具有重大意义。然而，我国钢铁企业的能耗水平与发达国家相比，仍然存在着十分巨大的差距。面向我国钢铁工业节能减排发展目标，针对其生产过程中的高能耗、高排放的运行特点，不断挖掘自身的节能潜力，在保证钢铁生产质量和产量的前提下减少能源的消耗量，提高企业的能耗水平。加热炉是钢铁企业重点能耗设备，是轧钢生产的主要耗能设备，其能耗占轧钢工序能耗的60%—70%，因此，提高加热炉的能耗水平对钢铁企业节能起到至关重要的作用。本文通过分析钢铁企业加热炉生产过程产生的海量能耗数据，利用本体建模技术构建钢铁企业加热炉本体模型，并将本体模型与加热炉能耗数据进行数据映射，利用比较流行的大数据分析技术，构建加热炉生产能耗模型，从中挖掘出加热炉能耗规律，进而分析出加热炉的节能潜力所在，并给出加热炉生产过程中的最佳工况参数去填补这部分的节能潜力。 ????????1 系统构建 ????????系统设计思路可以概括为：首先进行系统数据准备，然后将原始数据进行数据预处理，接着对处理后的高品质数据进行数据分析，最后挖掘出数据背后隐藏的价值找出节能潜力所在，并找出最佳工况参数弥补这部分节能潜力所在。具体由以下六部分组成。 ????????图1 系统总体架构 ????????1.1 数据准备 ????????数据采集负责将数据从业务系统采集到大数据分析系统。数据采集工作本身不在Hadoop分析平台中，但是在整个分析系统中起着重要的作用，起着桥梁作用，连接业务系统和分析系统，将业务系统与分析系统实现了解耦。企业由于生产管理的需要对于有些数据甚至只有纸质记录，因此第一步需要将这些生产数据进行整合，将这些纸质数据进行电子化。数据准备是为分析系统提供数据支撑，是整个系统的基础模块。 ????????1.2 分布式存储 ????????分布式文件系统（The Hadoop Distributed File System，HDFS）是一个运行在普通的组件集群上的分布式文件系统，它是HADOOP框架主要的存储系统。由于HADOOP具有高数据吞吐量、高度容错的特性，因此使得其具有很高的效能。H