综合运用大数据技术分析铁路施工维修作业初探 .pdfVIP

综合运用大数据技术分析铁路施工维修作业初探

近年来，国企不断加强深化改革，作为交通运输系统的骨干企业，铁路行业

更是首当其冲，为了充分发掘铁路信息化发展过程中积累的大量数据，为智能分

析、科学决策提供依据，铁路企业对大数据分析的重视提升到了新的高度。铁路

行车设备施工维修登销记系统（CMIS）经过长期的投产使用，积累了大量的施

工维修作业数据，文章运用大数据的相关技术，采用决策树方法建立行车设备施

工延时模型，为施工管理和施工单位实际作业提供角色依据。

标签：大数据；施工维修；铁路行业

1概述

随着社会信息化步伐的加快，越来越多的数据被各行各业的信息系统不断的

生产出来，相对于处理具体业务，“数据”本身的价值得到了更多的关注。并且，

得益于硬件处理能力的提升以及基于分布式计算的云计算平台技术的日益成熟，

对大数据进行分析也具备了技术基础，越来越多行业的企业开始掘金大数据来发

现自身业务的规律，优化自身业务。在铁路信息化发展过程中，也累积了大量半

结构化和非结构化数据。从大数据的数据体量巨大和数据类型繁多两个层面，有

力地印证了铁路统计信息化已进入了大数据时代。[1]

铁路行车设备施工维修登销记系统（CMIS）是对铁路沿线施工和维修作业

进行信息化管理的系统，记录了施工维修作业的基本信息和审核过程。按照铁路

运营线施工作业管理办法，通常先在施工调度指挥系统中申请施工月度和日计

划，正式实施时，使用CMIS系统填写施工内容，依次经过车站值班员审核、调

度台审核后开始进行施工作业，完成施工后进行销记，根据实际情况，施工作业

可以延时。

本文旨在探索大数据相关技术在铁路运输生产系统中的实际应用，搭建

cloudera群集环境，利用2012年至2016年呼和浩特铁路局营业线施工登销记记

录，采用决策树方法建立行车设备施工延时预测模型，为施工管理和施工单位实

际作业提供决策依据。

2环境准备

大数据平台是将计算任务分配到群集中各节点服务器分布式并行运行的平

台，包含了MapReduce、HDFS、YARN、HIVE、SPARK等一系列的服务组件

来支撑其运行，搭建大数据平台运行环境通常有两种方式：原生Hadoop框架和

厂商集成产品。搭建基于原生Hadoop生态系统的大数据平台需要手工逐个安装

上述服务组件，厂商集成产品则将配套组件进行了集成，具有安装配置简便、不

需要考虑组件兼容性的优点。本文采用ClouderaCDH产品搭建大数据平台，部

署在六台LinuxCentOS服务器组成的群集上，其中一台作为主节点NameNode，

其他五台作为DataNode，平台包含大数据分析常用的组件，可以扩展组成群集

的服务器数目，以适应未来的大处理量数据分析需求。采用决策树模型分析施工

延时情况的应用主要使用了以下服务组件：

（1）MapReduce：提供并行计算的编程模型，是Hadoop分布式计算的基

础。

（2）HDFS：分布式的数据存储结构。

（3）Yarn：管理群集任务调度，自动将计算任务调度到各数据节点。

（4）Spark：提供编程接口，并且包含机器学习库。

3数据准备

预测分析营业线施工作业是否延时，可以使用大数据理论中的机器学习方

法。机器学习通过让机器学习样本数据，帮助机器建立预测分析模型，一般可以

分为两种：“分类学习”和“回归学习”，前者的目的是预测分析数据记录的具体归

类，包含决策树、朴素贝叶斯、K-近邻等分类算法，后者则是对数据某一具体观

测值的定量预测分析。

决策树是一个类似于树结构的分析预测模型，根据树的不同层次，可以把树

结构分为根结点（也称父结点）、分支结点以及叶子结点。从决策树的根结点到

叶子结点的一条路径就对应着一条预测规则，完整的一棵树就对应着所有预测规

则。在每个结点選择分类效果最好的决策属性对样本集进行划分，直至这棵树能

准确地将样本集分类。[2]决策树算法应用广泛，不仅支持数值类的属性变量，

而且支持类型类的属性变量，施工登销记记录数据包含有类型类的属性变量（如

施工线路包含多条线路名称、封锁类型包含慢行、停电等），可以采用决策树的

方法来预测分析施工作业是否延时。

为了获得质量较高的分析结果，首先需要进行数据清洗，包括去除一些重复

数据、空值、噪声。施工登销记中包含一些在系统试运行时测试用的无效数据，