公共交通出行服务大数据平台设计方案.docVIP

公共交通出行服务大数据平台解决方案 1概述 随着近儿年我省经济的快速发展，公众出行方式日趋多样化，公众对■交通岀行信息的需 求日益增强。如何辅助出行者迅速获取有效交通信息，提高出行效率，提升服务水平，是交 通部门面临的一个现实问题。 2005年，交通部将“公众出行交通信息服务系统”确定为三大交通信息化示范工程Z 一，在交通信息化工作基础较好的几个省市相继开发了一些应用系统，在一定程度上方便了 公众的岀行，得到了公众的认可。但这些应用系统主要是基于具体部门业务及所拥有的数据 进行开发，信息服务的内容还缺少关联性;其次，现有的各类应用系统在服务内容、服务方式、 服务质量以及服务范I韦I，以信息发布和推送为主，很少接收来白公众的出行反馈信息，没有 形成数据闭环。 冃前我省各交通管理部门已经建立了功能相对完善的交通指挥控制中心,包括交通信号 控制系统、道路交通监控系统、交通诱导显示系统、停车管理系统、交通违章处理系统等, 初步实现了交通信号控制、道路监控、交通信息综合查询、有/无线指挥调度及交通诱导等 基础功能。公安交管部门不仅具备了交通基础信息，还拥有了各类动态数据，如车辆实时营 运信息、道路交通状况等，采集的数据类型包括属性数据、空间数据、影像数据等。对交通 三要素（人流、车辆、道路）连续不断采集的多源交通数据流产生了巨量的交通数据，具有 典型的“3V”特性：大容量、多样性、高速度，也具有价值、复杂性的特点，属于名符其实 的交通“大数据”。 数据是智能交通的核心，数据为王的人数据时代己经到来。如何高效地从海最数据屮分 析、挖掘所需的信息和规律，结合已冇经验和数学模型，实现对城市道路交通的整体运营水 平和人们出行规律的深度挖掘，生成更高层次的决策支持信息，获得各类分析、评价数据, 为交通诱导、交通控制、交通需求管理、紧急事件管理等提供决策支持，为交通管理者、运 营者和个体出行者提供交通信息，成为当务Z急。 木文面对交通人数据，就如何存储、组织和管理数据，并提供政务与商务两方面的公共 交通出行服务，提出了解决方案。本文分析了交通人数据分析平台需具备的特点，提出了公 共交通出行服务大数据平台逻辑框架，并在现有技术基础上，阐述了平台构建方案。 2功能需求 如前所述，交通服务要提供全而的路况，需要交通综合监测网络对城市道路交通状况、 交通流信息、交通违法行为等的全而监测，采集、处理及分析大量的实时监测数据，具有数 据量巨大的特点；随着城市机动午保有量不断提高，城市道路交通状况日趋复杂化，交通流 特性呈现随时间变化大、区域关联性强的特点，需耍根据实时的交通流数据及时全面采集、 处理、分析等，因此具有系统负载吋变性高、波动大的特点，应支持低延时、高并发事务； 公众岀行服务对交通信息发布的时效性要求高,需将准确的信息及吋捉供给不同需求的主体, 信息处理、分析实吋性要求髙；公共交通出行服务人数据平台需而向政府、社会和公众捉供 交通服务，为出行者提供安全、畅通、高品质的行程服务，保障交通运输的高安全、高时效 和高准确性，必须具有髙可用性和高稳定性。这给公共交通出行服务人数据平台提出了挑战。 表1公共交通出行服务大数据平台需具备的特性 特性 简要说明 髙度可扩展性 横向大规模可扩展，大规模并行处理 实时性 对交通数据流、事件的实时处理 高性能、低延迟分析 快速响应复杂查询与深度分析、实时分析结果 髙度容错性 系统在破件级、软件级实现容错 可用性 系统具冇相当高的可菲性 支持杲构环境 对硬件平台一致性要求不高，适应能力强 开放性、易用性 系统之间可实现数据共亨、服务集成 较低成木 较高的性价比 公共交通出行服务大数据平台面对海量数据，系统不能仅依靠少数几台机器的升级 （Scale-up,纵向扩展）满足数据量的增长，必须做到横向口J扩展（Scale-out）,既满足性能 的要求，也满足存储的要求（包括结构性数据、非结构形式、半结构性数据）。 由于服务需求的多样性,平台既要支持交通数据流的实时分析与处理又要支持复杂查询 与深度分析所需的高性能、低延迟需求。平台需具冇高度容错性，大数据的容错性要求在作 业（Job）执行过程屮，一个参与节点失效不需要重做整个作业。机群节点数的增加会増加节 点失效概率，在人规模机群坏境卜.，节点的失效不再是稀有事件，因此在人规模机群环境卜 系统不能依赖于硬件来保证容错性，要更多地考虑软件级容错，同时增加系统的可用性。系 统的开放性也是十分重耍的，作为一个复杂系统，各子系统之间数据交换、共亨以及服务集 成是必不可少的，同时耍求系统支持迭代开发，可不断更新/増加功能；系统服务不但专业 人员可以使用，业务人员也可以使用，分析口J以实现大众化。 另外，平台应支持异构环境。公共交通出行服务大数据平台的建设是分步骤、分阶段进 行的，设备的采