基于DN模型的在线强化学习信号控制方法研究.pdfVIP

基于DN 模型的在线强化学习信号控制方法研究 摘 要 目前我国交通面临的重要难题是在城市空间有限及其他限制因素导致基础 设施建设难以扩展的条件下，如何利用当前人工智能技术、计算机仿真技术等 高新技术来解决交通拥堵问题。我国智能交通管控起步较晚，虽然在智能交通 信号控制方面有所突破。但在实际复杂的交通系统中，由于交通系统的非线 性、非确定性及动态性等特点，多个效果很好的单点信号控制系统并不能发挥 很好的作用。所以，考虑多路口协调控制以及区域协调控制成为当前的一个研 究热点，使区域整体或者多路口协调最优是解决交通信号控制相邻路口“强耦 合”问题的关键。目前，主流研究方向是如何利用人工智能及计算机仿真来解 决这一难题。由此，本文利用PTV-VISSIM交通仿真软件搭建在线仿真平台，利 用强化学习方法对智能交通信号控制展开研究，主要开展了以下方面的研究。 首先，基于 PTV-VISSIM 的在线强化学习信号控制平台构建，利用 PTV- VISSIM COM 接口以及MATLAB 进行二次开发构建在线仿真平台，根据研究需 求设计不同仿真环境。开发在线强化学习算法模块，并且根据实时交通状况进行 信号控制方案优化并对优化后的信号控制方案作出评价。 其次，建立了基于先验知识的单交叉口信号优化在线强化学习模型。根据单 交叉口交通特性，选取排队长度以及延误作为强化学习的交通参数，并对传统的 强化学习模型引入“先验知识”让模型快速收敛。 接着，对相邻路口进行相位差优化，建立了启发式的强化学习相位差优化模 型。主要构建双层学习网络，上层为BP(back propagation)神经网络，下层为Q 学 习模型，通过BP 神经网络学到的“知识”对下层Q 学习模型进行启发。 最后，利用DN （distinguished node ）模型理论，改变以往交通信号控制拓扑 关系。以信号控制为节点，路口为方向，进而提出一个新的强化学习训练方式， 让强化学习最小学习单元变为两个相邻路口，该模型能够忽略路网拓扑结构，可 以进行不同层次的信号控制方案优化，并引入迭代训练强化学习方法，使强化学 习训练可以与DN 模型结合，使多路口强化学习信号控制可以快速扩展。 关键词：在线强化学习，信号控制，协调信号控制，相位差优化 I 目 录 摘 要 I ABSTRACT II 第一章 绪论 1 1.1 研究背景及意义 1 1.2 国内外研究现状2 1.2.1 定时信号控制国内外研究现状2 1.2.2 感应信号控制国内外研究现状3 1.2.3 自适应式信号控制国内外研究现状4 1.2.4 研究现状总结5 1.3 研究内容及技术路线6 1.3.1 研究内容6 1.3.2 技术路线8 第二章 基于VISSIM 的在线仿真平台构建9 2.1 基础仿真平台简介9 2.2 仿真平台开发设计9 2.2.1 开发环境构建 10 2.2.2 路网环境要求及平台功能模块 12 2.2.3 交通信号控制平台结构 16 2.2.4 交通控制优化交互界面 19 2.3 本章总结20 第三章 基于先验知识的单路口信号控制优化方法22 3.1 单点信号控制在线Q 学习模型22 3.1.1 Q 强化学习理论基础22 3.1.2 单交叉口信号控制交通状态、动作、奖赏的建模- 24 3.1.3 动作选择函数25 3.1.4 引入先验知识的强化学习模型27 3.2 单点信号控制模型仿真实验28 3.2.1 仿真场景搭建28 3.2.2 强化学习参数选取及调整29 3.2.3 仿真性能对比分析31 3.3 仿真结果分析34 3.3.1 不同流量需求下的模型性能34 3.3.2 不同交通流量需求下的控制效果对比36 3.4 实际案例分析37 3.4.1 场景介绍37 3.4.2 仿真结果分析3