基于深度强化学习的干线交通信号协调优化控制方法.pdfVIP

浙江大学硕士学位论文摘要

摘要

随着信息技术的快速发展，近年来，深度强化学习方法在交通运输领域得到

广泛应用。特别是在交通信号控制领域，已成为当前交通信号控制发展的重要方

向。强化学习由于其智能决策控制的优点，特别适合交通信号相位切换决策的过

程，因而具有重要的应用价值，也是人工智能与交通控制结合的重要切入点。

本文立足干线交通信号协调优化控制的实际需求，基于深度强化学习技术，

在干线交通信号协调控制方法优化方面做了如下工作。首先，以典型十字交叉口

的NEMA双环相位结构为约束，结合智能体经验共享机制，对智能体动作空间

进行改进，有效降低了状态．动作空间维度，提高了强化学习经验样本的利用率

和智能体训练效率。在此基础上，分析了不同交通需求、不同信号参数等场景下

的单点深度强化学习信号控制方法的鲁棒性，验证了双环相位结构约束下的交通

信号控制方法的有效性与实用性。其次，将单点信号控制方法拓展到干线协调控

制，结合干线交通协调控制的实际需求，分析在不同交通需求的场景下，干线、

支路优先权重系数对干线协调控制效果的影响，建立干线、支路优先权重系数值

与路网车均延误时间的关系模型，为进一步提高干线信号协调控制效率奠定了重

要基础。最后，构建多层图注意力网络作为干线交叉口协调机制，解决了大规模

干线路网交叉口信号控制协作问题。在不同交通需求场景下设计交通仿真实验，

分析不同交通需求下干线协调控制过程中上、下游交叉口对干线协调控制效果的

影响程度，验证了基于多层图注意力网络的干线信号协调控制方法对于提高干线

通行效率的有效性。

综上，本文以双环相位结构约束下的单点信号控制方法研究为底层支撑，结

合干线路网交通需求，建立干线、支路奖励权重系数模型，并以此作为实际应用

约束，引入多层图注意力深度神经网络，进一步解决了干线路网交叉口信号控制

协作问题。本文的研究将进一步提升干线交通信号协调优化控制的实用性，推进

深度强化学习方法在交通信号控制领域的实际应用，有效提高干线信号协调优化

控制的效果。

关键词：双环相位结构；干线信号协调控制；深度强化学习；图注意力网络

IIl

浙江大学硕士学位论文摘要

Abstract

Witlltheofimmationreimrcement

rapid

developmenttechnolo既deep

hasbeenusedinthefieldofinrecent

learllingwidelytr觚Sponationyears．Especially

ithas

become锄directioninthefieldoftr擒ccontr01．

importantsignal

Reinf-orcementtoitsofdecision

leanling，dueadV锄tagescontIDl，is

intelligent

suitablefordecisionfortheof仃amc

panicularlymal【ingprocesssi印al

ithaSValueandisalsoan

phase-switclling，soimport锄tapplicationinlport锄tent巧

forthecombinationofartificial