基于大数据理论的铁路货运营销决策系统设计与实现.docx

??

?

??

基于大数据理论的铁路货运营销决策系统设计与实现

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

摘要当前，铁路企业如何准确预判市场发展趋势，精确的掌握客户个性化需求，制定切实可行的策略成为制约铁路发展的关键。在Hadoop和云计算等大数据技术的基础上，使用大数据分布式计算和存储平台组件，搭建数据仓库，采用面向服务架构（SOA）设计，构建基于大数据理论货运营销决策系统，建立从业务层到管理层到决策层的智能分析体系，实现集团货运数据资源的集中、整合和分析挖掘，为集团公司货运营销管理及决策支持。

关键词大数据货运营销面向服务架构数据仓库

0设计背景

物流行业每天都会产生出海量的数据，科学利用这些海量信息对于物流企业的发展至关重要。随着移动互联网、云计算、物联网和大数据技术的广泛应用，数据仓库、数据安全、数据分析、数据挖掘等围绕大数据价值的开发与应用逐渐成为各行业争抢的利润焦点。从全国来看，目前，德邦、普洛斯中国、中远等大型物流企业已将大数据理论成熟的运用于市场分析与预测，物流企业间的竞争逐渐演变成数据与信息之间的竞争。

从铁路内部来看，铁路企业对物流市场及客户的研究分析仍很欠缺。从对数据的利用来看，仅仅对通过铁路运输指标进行统计及简单的分析，对数据的全面开发与深入挖掘远远不够，无法真正的了解市场变化及客户实时需求。如何快速应对市场，制定切实可行的策略成为制约铁路发展的关键。如何迅速的获取有价值的市场与客户信息，有针对性的做出应对措施，准确预判市场发展趋势，精确的掌握客户个性化需求等等问题，将是后续集团公司货运营销工作是否有成效的关键因素，充分利用大数据理论开展货源营销分析并进行营销决策，将是货运发展走出困境的必然选择。

1方案设计

1.1总体方案

根据集团信息化发展规划与业务需求，建设基于大数据理论货运营销决策系统，实现集团货运数据资源的集中及整合，提高企业数据的处理效率与共享程度。实现对集团企业内部数据和外部数据的分析挖掘。有效提升统计分析工作效率,准确匹配营销策略，为营销决策提供依据。系统将在Hadoop和云计算等技术的基础上，通过整合既有的货运日班计划平台、18点运输统计分析系统、货票信息综合运用系统、铁路集装箱运输管理信息系统等铁路既有系统资源，并采集客户实时数据、公路物流数据、下游市场行情变化、政策制度影响等信息，构建铁路货运营销数据集中处理平台。在基于大数据理论统计分析的基础上科学预测，建立从业务层到管理层到决策层的智能分析体系，实现对集团公司货运业务数据进行分类、管理、统计和分析等功能，给各级货运营销管理人员提供准确的数据依据，切实把握铁路运营的变化规律和条件，为营销决策提供依据。系统包括客户关系管理、市场信息采集、下游市场监测、政策信息管理、统计分析、预警追踪、营销决策等模块。

1.2系统总体架构

基于大数据理论的货运营销决策系统是一个可扩展的数据平台，后续逐步整合集团公司生产业务数据，建立从业务层到管理层再到决策层的集团数据智能分析体系。系统采用新技术建设构建集团企业级的数据仓库，实现对现有业务系统数据的整合；建立统一的数据采集加工平台，供系统平台从各业务系统及外部环境采集、加工、清洗、爬取数据；建立数据分析平台，用于经营分析和决策支持；通过可视化交互查询、图表展示、地图展示、驾驶舱等建立数据可视化展现平台；通过人机交互，实现业务需求；建立统一对外接口，为后续功能扩展与系统对接提供统一对外API接口。

1.3技术方案设计

基于大数据理论的铁路货运营销决策系统，结合当前大数据开发开源技术与框架，使用大数据分布式计算和存储平台组件，构建基于Hadoop的数据仓库，采用面向服务架构（SOA）设计，搭建应用开发平台。

1)应用开发平台，主要包括：J2EE应用服务平台和Spring框架、报表和分析展现平台、ETL数据集成平台、身份认证和访问控制组件、全文检索组件等。

2)大数据分布式计算和存储平台组件，主要包括：分布式列存储数据库、分布式文件系统、SQL引擎、实时流处理引擎、联合查询引擎、并行化R算法执行引擎、全文检索引擎、分布式批处理计算引擎（Hadoop/Spark/MapReduce）以及任务调度与监控等组件。

3)基于Hadoop构建数据仓库。通过数据集成及ETL平台，采集集团公司现有业务系统数据，经清洗、转换、加工后将数据批量加载到数据仓库。通过分布式消息队列（Kafka）和流处理引擎（SparkStreaming），实时采集处理流数据；流处理引擎可通过SQL接口将流数据实时加载至分布式内存或分布式数据库中。

结构化数据导入数据仓库后，通过PL/SQL脚本、Python脚本和Hadoop/Spark批处理引擎进行数据关联操作和汇总加工处理；非结构化数据导入