基于大数据平台的铁路通信网络管理系统优化设计与实现.docVIP

基于大数据平台的铁路通信网络管理系统优化设计与实现 [摘 要]针对目前铁路通信网络管理各系统各自独立，集中存储数据缺乏，无法进行全面检测、统计和管理的现状，提出了铁路通信综合网络平台建设的目标，设计了建设优化的系统架构，并针对某铁路局级综合网络管理中心的需求，进行了方案实现，为满足未来多系统共用大数据平台的需要提供了前期基础。 [关键词]铁路通信网络 大数据平台 数据分析 中图分类号：U291-39 文献标识码：A 文章编号：1009-914X（2016）07-0029-01 随着中国铁路的高速发展，铁路通信网正迅速发展成为一个集光纤传输、无线传输、自动管理等高度数字化的大型网络[1]。然就目前而言，铁路通信网各个系统相对独立，无法进行全面监测、统计和管理，更无法为各个系统和系统间的建设和优化提供数据分析[2]。特别在当前大数据背景下，迫切需要通过综合自动管理技术，对各个系统信息进行综合呈现、综合分析，以便整合铁路资源和业务，为故障预测、预警提供数据基础，为管理决策提供依据，从而实现铁路运营管理方式的现代化。 1.现状铁路通信网络管理存在的问题 受建设历史原因及设备提供商限制，目前铁路网管中心存在二十多套系统，除通信组外，其它系统基本都是相互独立，每套系统只针对各自的传输、设备等进行管理。在我国信息化建设起步晚的大环境下，台账报表的生成、辅助资源的分配、环境动力的布防、撤防及故障处理等很多工作是手工进行，且不能根据故障告警自动生成派工单，技术人员整日忙于电话接打中；告警定位没有直观形象的可视化界面显示，只是给出数字指导，在有限的故障处理时间内，在如驻波的告警处理、光功率的故障处理中不能迅速定位故障，存在匆忙中出错的可能；由于有些系统建设较新，还没有形成丰富的专家知识库及典型案例。大数据技术是当前前沿技术，也是未来信息化发展的方向。但目前通信网管系统缺乏集中存储数据，数据存在散、乱状态，不能为将来的大数据分析提供数据积累，也不能为未来信息化的发展做数据沉淀[3-4]。 2.铁路通信网管系统建设目标 通过对现有铁路网管系统的整治，完善系统。对目前处于散、乱的数据进行集中存储管理，为将来的大数据分析积累基础数据，并在大数据平台上（Cloudera）进行数据挖掘、关联分析、预测性分析和统计。通过对告警历史数据的回归、关联性分析，预测未来系统可能发生的故障，并定位故障点，提出故障处理意见，在故障处理规定的时间内（如5分钟内上报，10分钟处理完毕）指导技术人员快速定位和处理故障。 3.系统架构 3.1 设计概要 为满足大数据平台下的业务需求，设计一种新的硬件架构，以满足多系统共用大数据平台的需求。为此，以某局级铁路用户为例，考虑需新增x86服务器，作为ROSS系统数据采集解析的服务集群；在Cloudera大数据平台上，完成数据汇总及数据分析功能。数据存储共用大数据平台的分布式文件系统（HDFS），数据分析在Cloudera大数据平台上进行。 3.2 设备选型及业务逻辑 系统服务器采用多台x86虚拟机服务器作为采集服务器集群，使其具备横向扩展能力强、增减容方便、易于管理和监控、可以快速部署上线等特点。 3.3 整体技术方案 该技术方案的核心是Cloudera大数据平台。图3是大数据平台集群的架构示意。针对本系统，采集/接口服务器、各系统的上层应用服务器均作为Cline存在；通过TCP/IP网络与大数据平台通信。大数据平台采用1个NameNode和多个DataNode的部署方式，并用Sqoop方式作为数据接收接口。 3.3.1 数据采集服务器 数据采集服务器负责历史数据采集，采用CentOS Linux操作系统，部署专用的采集及解析软件，其工作模式与传统网管应用采集、解析、入库的方式类似，区别在于传统方式解析文件后写入数据库，而本系统完成文件解析后直接写入Cloudera Hadoop中。 3.3.2 大数据平台 （1） 软件设计方案 数据存储采用HDFS保存解析后的原始数据文件；数据分析采用MapReduce作为分析工具；MapReduce用于大规模数据集（大于1TB）的并行运算，可以极大地方便编程人员将程序运行在分布式系统上。软件实现可以指定一个Map函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce函数用来保证所有映射的键值对中每一个共享相同的键组。 （2） 硬件设计方案 大数据平台存储空间计算见表2。 即保存到大数据平台的单文件大小为0.3MB，如需要保留9天的数据，如表2经计算大数据平台共需要3.2TB空间。 （3） 部署方案 依据上述情况，大数据平台应共用x86服务器3台，采用1+2方式部署，其中，1台服务器作为NameNode，用于元数据管理，采用双机互备方式保证NameNode的高可用性；2台服务器组成Data