基于Hadoop的铁道供电监控信息流分布式压缩存储及容错研究-交通信息工程及控制专业论文.docxVIP

- . 学 院 |电气与电子 |专业|交通信息工程及|学号 I 20120208230206 工程学院 J I 控制 ? 论文题目 |基于Hadoop 的铁道供电监控信息流分布式压缩存储及容错研究 独创性声明 本人郑重声明:所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表和撰写的研究成果，也不包含 为获得华东交通大学或其他教育机构的学位或证书所使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示了谢意。 于论文使用  ， 日期 本人完全了解华东交通大学有关保留、使用学位论文的规定，即:学 校有权保留送交论文的复印件，允许论文被查阅和借阅。学校可以公 布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存 . 论文。 保密的论文在解密后遵守此规定，本论文无保密内容。 导师签名成多l忌 日期 ? 摘要 摘要 I I 基于 Hadoop 的铁道供电监控信息流分布式压缩存储及容错研究 摘要 现代电网规模与容量不断扩大，能量流与信息流互动，构成智能调度应用的基础, 为了增强调度监控的协调与交互，各式新型智能电子设备不断接入，电力系统监控中监 测点数量增多，数据量呈几何形式大规模增长，数据结构既复杂又多样。典型的如某风 电场风机 SCADA 系统一个月产生的数据量约达 2490GB，运行一年就将达到 20 多个 TB[1,2]，现有的数据管理系统通常采用传统磁盘阵列来存储与管理数据，相应的数据库 管理软件采用关系型数据库处理方案，数据需要集中处理，对单台服务器有较高性能要 求，而且数据管理系统的扩展性相对较差、可靠性也不高，虽然能满足一般数据处理应 用，但是在应对大规模数据处理方面存在困难，若通过传统关系数据管理系统对海量数 据集中式处理计算，已远远满足不了未来智能调度监控海量数据存储、共享、自动化处 理要求，大数据集信息的有效存储与计算仍是目前调度监控系统所面临的一个难题。 学术界在电力领域引入云计算，将云计算技术引入调度监控大数据的存储处理，研 究调度监控大数据的应对方案。作为目前研究较普遍的 Hadoop 云框架，突破了传统数 据集中存储处理的模式，具有强大的分布式并行处理能力，其所具有的冗余容错、高可 靠、高伸缩等突出优势，为调度监控系统海量化大数据的有效存储与计算处理提供了一 种新的解决思路。 某些特殊的工业配电系统如铁道供电系统除具有一般配电系统的特点外，还具有其 自身特点，其安全性不仅涉及供电安全更涉及行车安全，其智能调度监控对系统可靠性 要求高，因此，本文结合工程应用中数据处理实际要求与 Hadoop 云平台，构建基于 Hadoop 的铁道供电调度监控系统，并构建基于 Hive 的调度监控数据仓库和基于 HBase 的分布式调度监控数据库，以铁道供电调度监控量测大数据作为研究对象，进行数据压 缩存储研究。实验表明：RCFile 文件格式的查询和压缩性能优于 TextFile 与 SequenceFile， 且三种文件格式经 Deflate、Gzip、Lzo 的压缩查询效率得到提高；验证了 HBase 良好的 实时读写性能；实现了 Hive 与 HBase 的信息融合交互；验证了基于云计算的监控系统 的数据容错能力。研究结果对调度监控系统处理大数据具有重要的理论和实践价值。 关键词：电力大数据，铁道供电调度监控，Hadoop云计算，Hive数据仓库，HBase分布 数据库，无损压缩 Ab Abstract II II RESEARSH ON DISTRIBUTED COMPRESSION STORAGE AND FAULT TOLERANCE OF MONITORING INFORMATION FLOW OF POWER SUPPLY SYSTEM OF ELECTRIFIED RAILWAY BASED ON HADOOP ABSTRACT The scale and the capacity of modern power system expand constantly, the interactions between the energy and the information flow construct the basis for the intelligent dispatching and monitoring system, in order to meet the coordination and communication requirements of the dispatching and monitoring system, more and