基于大数据港口煤炭物流可视化分析平台.docVIP

基于大数据港口煤炭物流可视化分析平台 　　摘要：基于大数据的可视分析理论与技术已经被应用于很多不同的领域。大数据时代背景下，秦皇岛港已经实现了生产业务信息化，并且积累了大量的生产作业数据。蕴含在港口生产业务数据中的潜在价值有待挖掘。为了使港口能更有效地管理和应用数据资源，本文结合港口业务与数据特点，提出了基于大数据的港口煤炭物流可视化分析平台，分析了平台总体设计思路，介绍了该平台的总体架构，阐述了该平台在秦皇岛港的应用效果。实际应用表明，该平台实现了港口企业内部数据的全面管理和应用，为港口企业管理、决策、预警等提供全面可靠的数据支撑。 　　关键词：大数据 港口 煤炭物流 可视化分析 　　0 引 言 　　近年来，秦皇岛港面临愈加激烈的竞争环境。作为国内的百年大港，秦皇岛港具有深厚的基础设施优势、网络设备优势、数据资源优势以及客户资源优势，尤其是秦皇岛港所积淀的海量数据资源是新建港口码头所无法比拟的。充分发挥港口底蕴优势，通过物联网、云计算、数据挖掘等技术手段对港口供应链上的信息进行感知、存储、归纳、整理并盘活；分析煤炭物流数据资源的消费趋势，从中发现优质货源；对客户进行分析，以制定有效的客户政策，优化港口生产作业各环节和供应链流程，以推动形成基于大数据的增值信息服务新业态。 　　1 问题分析 　　1.1 必要性分析 　　作为煤炭供应链的枢纽节点，秦皇岛港在生产调度、煤炭生产、货运费收等生产过程中积淀了海量的数据。这些生产数据背后蕴藏着高价值的信息，然而，由于港口业务数据具有海量、高维、网络化及地理相关等数据特性，使得数据分析人员很难在现有数据资源的基础上洞察港口现已积累数据的潜藏价值，无法全面地掌握、理解、分析港口业务情况。生产管理数据价值增值环节的缺失，导致不能为港口生产经营决策管理提供有效的数据支撑。为此，亟待通过有效的可视化技术来解决上述问题，实现港口的数据增值应用。 　　1.2 港口数据分析 　　本文主要从结合港口煤炭物流数据多源性、异构性和多维性的特征，通过对海量煤炭物流数据进行分析。 　　（1）多源性 　　秦皇岛港在信息化发展过程中，在不同的历史时期，为满足不同的业务需求，采用不同的数据库技术构建系统，为此，港口煤炭物流数据具有多源属性。 　　（2）异构性 　　一方面，港口数据的多源属性使得获取的数据格式、数据组成具有异构性。其次，不同信息系统所采用的采集系统并不相同，导致所采集获得的数据模型具有异构性。 　　（3）多维性 　　港口数据具有异构、多源等特征，使得数据的描述可以从多个不同维度展开。例如，针对一个车次的煤炭调进数据描述，包括煤种、吨数、车次、发货人、委托人、所属分公司等信息。 　　结合港口煤炭物流数据的实际特点，以发现煤炭物流趋势、规则等潜藏在数据背后的有价值信息。 　　2 技术思路 　　以港口煤炭物流大数据的结构特征为基础，综合运用数据挖掘技术、基于OLAP的多维分析技术及可视化交互等技术，实现对数据多维度、深层次的挖掘，以实现对信息的洞察，避免在信息中迷航，在尽可能短的时间内，以最自然的方式获得和理解所需信息并做出决策。 　　（1）港口煤炭物流大数据经过可视化模型处理后，可以得到可视化数据，通过对可视化数据建模分析，利用数据挖掘等数据分析技术，实现数据的实时分析与管理，可为港口的决策提供及时、准确、权威的数据依据，使秦港能及时掌握市场环境的需求变化，从而能够及时进行战略调整，赢得市场先机。 　　港口煤炭物流大数据分析模型如图1所示。 　　（2）基于OLAP的大数据多维分析技术 　　通过采用多维分析技术对港口煤炭物流大数据进行上卷、下钻、切片、切块、旋转等分析操作，实现了数据从高维度抽象至低维度细节的全方位剖析展示，使分析者、决策者能从多个角度、多个侧面观察数据库中的数据，有利于钻取、挖掘数据潜藏的信息价值与内涵。 　　以秦港煤炭调进数据为例，应用多维分析技术可从委托人、公司、时间各维度分析数据，如下图所示： 　　（3）系统可视化开发技术框架 　　采用商业智能软件Tableau，没有复杂的代码编辑，控制台可完全自定义配置。在控制台上，不仅能够监测信息，而且还提供完整的分析能力，通过导入业务系统数据信息，简单拖放数据字段信息即可形成可视化图形。 　　3 平台构成 　　港口煤炭物流大数据可视化分析平台主要基于数据挖掘、中间件、可视化等技术实现港口煤炭物流大数据的集成、管理与应用。平台总体架构可以分为感知层、网络层、数据存储层、数据分析层与展示层。 　　（1）感知层：以秦皇岛港物联网设备、PLC等数据采集设备为基础，实现数据的自动化采集，为数据应用提供数据来源。 　　（2）网络层：以港口网络为核心，基于互联网、移动互联网、WIFI等，实现数据通讯与实