大数据在铁路货运信息系统中的应用框架探讨.docVIP

大数据在铁路货运信息系统中的应用框架探讨 　　摘要：该文详细分析了大数据技术在铁路货运信息系统中的应用方向及应用层次，提出大数据在系统中的应用框架及参考性的混搭架构模式，以推动铁路货运对大数据技术的应用。 　　关键词：大数据；大数据应用；铁路货运 　　中图分类号：TP302 文献标识码：A 文章编号：1009-3044（2015）13-0005-02 　　1 引言 　　铁路货运信息系统的构建，从TMIS（中国铁路运输管理系统）到TDCS（调度指挥信息管理系统）及CTC（新一代分散自律调度集中控制系统），正在实现由单项管理自动化到综合管理自动化的过渡。而于2012年9月试运行的铁路电子商务系统则开启了一个崭新的篇章，对外实现货运需求信息的采集功能，对内以既有系统为支撑形成完整的受理业务信息链[1，2]。大量数据（包括实时的、结构化、半结构化、非结构化数据）正在产生，增强大数据利用意识，借助大数据技术，发现大数据的真正价值，才能在企业竞争中摆脱被动状况，重新成为行业中的“火车头”。 　　2 大数据技术 　　大数据是为了更经济地从高频率获取的、大容量的、不同结构和类型的数据中获取价值，而设计的新一代架构和技术。大数据的4V特点：Volume（海量）、Variety（多样）、Velocity（实时）、Value（价值）[1]。 　　一个大数据系统从逻辑上可以分为数据采集、数据存储、数据处理、数据分析、数据应用展现等五个层次[3-5]。其中包含多方面的技术：海量存储、实时流数据处理、数据挖掘（DW）、数据可视化、商业智能（BI）、联机分析处理（OLAP）、并行计算、NoSQL（Not only SQL非关系型数据库）数据库等。 　　3 大数据应用框架的探讨 　　3.1 数据应用的三个层次 　　大数据在铁路货运信息系统中的应用主要分三层：起步阶段、发展阶段、运营阶段。目前国内应处于大数据应用的起步阶段。 　　第一层，主要是积累、收集数据，应用大数据存储相关技术及数据采集工具。已有的和正在扩建、补充完善的各项相关信息系统是大数据的各种来源，包括来自日志文件、终端设备、传感设备、视频设备、各项运营系统、财务系统、电子商务系统、安全监测系统等。基于传统关系型数据库存储的结构化数据仍然占据目前的主流地位，但大量的，实时性要求比较高的非结构化及半结构化数据正在产生。 　　数据基础：结构化数据为主流。 　　业务逻辑：以因果关系为主线。 　　挖掘工具：以SAS等统计分析工具为主，自主研发为辅。 　　应用目标：用数据促进企业精细运营，整合优化资源配置，提高运营效率。降低运营成本。 　　实施运作：主要是第三方数据挖掘服务机构。 　　第二层，是将收集的数据进行初步的融合、集成、筛选、分析出有用的信息来，这一层次的应用是目前发展的重点，其应用范围也较为广泛。如铁路运输流量分析、智能布警、铁路违法与事故模式挖掘。对数据的使用方式上，仍然以精确性计算分析为主，但随着应用层次的提高，趋势性计算分析会得到逐步地应用和发展。 　　数据基础：仍然以结构化数据为主，进一步融合数据业务平台，非结构化和半结构化的数据比重增加。 　　业务逻辑：以因果关系为主线，基于非结构化数据的预测为辅。 　　挖掘工具：以SAS等统计分析工具为主，Hadoop/Hbase等技术为辅。 　　应用目标：深入洞察客户需求，助力企业转型。 　　实施运作：借助外力辅助建立数据运营机构。 　　第三层，大数据的价值最大体现：预测、对数据更深度的分析、统计、挖掘处理，更好地支持日常运营、决策、安全管理等方面，甚至可以帮助发现创造新的价值，形成新的收入增长点。目前处于规划建设阶段。 　　数据基础：视频、音频等非结构化数据成为核心数据，更多融合企业内外部数据，传统结构化数据比重减少。 　　业务逻辑：因果关系变为传统业务运营的基本逻辑，基于非结构化数据的预测成为主流。 　　挖掘工具：Hadoop/Hbase等新兴技术渐成主流，SAS等统计分析工具的应用退居次要地位。 　　应用目标：全方位深入洞察客户需求，探索如何借助大数据推动企业转型。 　　实施运作：以自身建立的数据运营机构为主，外力为辅。 　　3.2 大数据应用的四个方向 　　大数据在铁路货运信息系统中的应用方向主要有：生产运作服务、安全监控服务、客户管理与服务、营销决策支持。 　　生产运作服务 　　利用大数据可以为生产运作提供支持服务，如货物的调拨、路线的安排、在途监控等方面活动，有助于优化业务流程，及时发现问题，提高业务运作效率。 　　安全监控服务 　　大数据能为铁路货运的安全监控提供服务，帮助实现实时监控和安全运营。可以分系统的统筹设置海量的传感器、视频监测设备等，将传感器及相关设