基于数据仓库的铁路供电调度监控海量信息容错存储新方法.pdfVIP

基于数据仓库的铁路供电调度监控 海量信息容错存储新方法 屈志坚 ：华东交通大学电气工程学院，副教授 ，江西 南 昌，330013 陈 阁：华东交通大学电气工程学院，硕士研 究生 ，江西 南 昌，330015 摘 要：提出一种基于Hadoop-~-计算技术的电气化 铁路供 电调度监控海量数据 的容错存储新方法 ， 将铁路供 电调度监控数据冗余存储在构建于分布 式文件 系统 (HDFS)上的数据仓库Hive中，可实现 海量供 电调度监控信息的冗余备份存储 ，J~LHive提 供的HiveqL语句可以执行数据查询和数据变换等操 作，便于辅助决策。搭建基于Hadoop平台的电气化 铁路供 电调度监控数据仓库 ，实验结果表明，新 方法在供 电调度监控海量信息存储及数据冗余备 份方面具有优 良性能，能满足 电气化铁路海量供 电调度监控信息的容错存储。 关键词：供 电调度 ；云计算；海量信息；数据仓 大，数据量井喷导致系统信息反应延迟甚至丢欠，若发 厍 ；数据容错 生故障时迟报误报 ，甚至漏报 ，将直接威胁铁路供电系 统 自动化调度指挥和运输安全…。因此 ，针对铁路供 电 调度监控信息流点多 、变化快和故障突发性等特点 ，提 高电气化铁路供电调度监控海量信息和突发故障的容错 0 引言 处理能力，提升 自动化和智能侧度水平，是亟待解决的 重要课题。在分布式监控信息仓库中，所有汁算机磁盘 随着国民经济的发展 ，对电气化铁路高速重载提出 担当数据存储节点，使物理存储容量得到扩展，数据块 了更高要求，同时提高列车的运行速度和运载能力也是 冗余备份在不同的云集群数据节点，当某数据节点故障 各国铁路发展不断追求的目标 ，但是速度的提高和运载 与主节点失去通信时，集群 自动从备份在其他数据节点 能力的提升也会导致弓网受流质量和供电系统稳定性下 上的数据块读取信息，分布的冗余容错方式能够克服信 降等问题，牵引负荷大且变化频繁，电压电流波动幅度 息的误报漏报等问题。 基金项 目：国家 自然科学基金资助项 目 ；江西省教育厅科技研究项 目 (GJJ；3350)； 博士科研启动基金项 目 (O9122014)。 ． ． 48．． ．。 景。曼 Ch|NESERAILWAYS2014／06 基于数据仓库 的铁路供 电调度监控海量信息容错存储新方法 屈志坚 等 Hadoop是对海量数据进行分布式处理的软件框架 ， 映射聚合操作 (MapReduce)是一种并行编程模型 ，能 够把应用程序分割成许多小的7作单元，并把这些单元 放到集群节点上执行。云计算技术成本低 、可靠性高、 易扩展的特点为电气化铁路供 电调度监控信息平台的发 展提供了新的解决方式。分布式文件系统 (HDFS)作 为云计算中数据存储管理的基石；I；，具有高容错 、高可靠 性 、高扩展性 、高获得性 、高 吐率等特征 ，可以为海 量信息提供不怕故障的存储 ， 电气化铁路供 电调度监 控领域引入云计算具有重要意义。结合电气化铁路调度 系统的特点与功能要求 ，研究攀于数据仓库Hive的海量 图1 供电调度监控信息流 监控信息存储方式、数据冗余备份机制等问题 ，实现信 息的可靠存储。 (2)下行处理流，即实时控制命令 ，包括远程控 制命令和远程参数设置命令 (电压 、电流阀值、报警限 1 铁路供电调度监控信息 值、延时限值等)的命令流。 电气化铁路牵引供电系统包括牵 引变电所和牵引