智慧交通综合大数据管控平台设计建设方案.pdf

项目编号：

智慧交通综合大数据管控平台

建

设

方

案

目录

第1章、前言8

第2章、总体设计9

2.1、系统概述9

2.2、系统设计原则11

2.3、系统框架12

第3章、交通大数据采集子系统17

3.1、前端采集技术17

3.2、数据共享和交换平台19

3.3、框架支撑平台19

3.3.1、基础网络服务平台20

3.3.2、共享内存数据库26

3.3.3、消息组件36

3.3.4、日志管理39

3.3.5、系统预警及系统告警与状态管理40

3.3.6、一致性哈希分发41

第4章、大数据资源整合存储子系统52

4.1、基础交通数据52

4.1.1、城市路网数据53

4.1.2、公交线路数据97

4.1.3、公交车辆数据99

4.1.4、长途客运车数据100

4.1.5、出租车数据102

4.1.6、危化品车数据104

4.1.7、共享单车数据105

4.1.8、火车客运数据106

4.1.9、民航客运数据108

4.1.10、交通资产数据110

4.1.11、出行需求数据111

4.1.12、公路费用数据115

4.1.13、气象数据116

4.1.14、监控设备数据116

4.1.15、追逃车辆数据117

4.2、实时采集数据118

4.3、实时计算数据118

4.3.1、城市交通运行数据118

4.3.2、公交车实时位置数据121

4.3.3、公交（地铁）卡刷卡数据122

4.3.4、长途客车实时数据123

4.3.5、出租车实时数据123

4.3.6、危化品车实时数据124

4.3.7、共享单车实时数据125

4.3.8、路口通行量125

4.3.9、套牌嫌疑车数据126

4.3.10、基于车辆识别的OD分析数据127

4.3.11、基于车辆识别的车辆数据127

第5章、大数据清洗子系统129

5.1、概述129

5.1.1、数据清洗130

5.1.2、缺失值处理130

5.1.3、数据选择131

5.1.4、数据变换132

5.1.5、数据集成133

5.1.6、数据削减133

5.1.7、数据清洗评估134

5.1.8、在交通领域的应用135

5.2、数据清洗方法137

5.2.1、错误数据的判别和修正138

5.2.2、丢失数据补齐148

5.2.3、冗余数据简约156

5.2.4、基于Hadoop的分布式数据清洗161

第6章、大数据融合分析子系统191

6.1、交通调查指标数据计算192

6.1.1、概述192

6.1.2、处理流程195

6.2、交通运行指数计算201

6.2.1、概述202

6.2.2、交通运行指数各项指标计算204

6.3、信号优化212

6.3.1、自适应信控配时计算212

6.4、基于大数据的OD分析260

6.4.1、概述260

6.4.2、基于Hadoop大数据OD分析264

6.4.3、基于移动通信手机定位数据的OD分析276

6.5、基于车辆识别的大数据套牌车分析314