基于自注意力机制的深度强化学习交通信号控制.pdfVIP

第24卷第2期交通运输系统工程与信息Vol.24No.2

2024年4月JournalofTransportationSystemsEngineeringandInformationTechnologyApril2024

文章编号：1009-6744(2024)02-0096-09中图分类号：U491文献标志码：A

DOI:10.16097/j.cnki.1009-6744.2024.02.010

基于自注意力机制的深度强化学习交通信号控制

*

张玺君，聂生元，李喆，张红

(兰州理工大学，计算机与通信学院，兰州730050)

摘要：交通信号控制(TrafficSignalControl,TSC)仍然是交通领域中最重要的研究课题之一。针

对现有基于深度强化学习(DeepReinforcementLearning,DRL)的交通信号控制方法的状态需要人

为设计，导致提取交通状态信息难度大以及交通状态信息无法全面表达的问题，为了从有限特征

中挖掘潜在交通状态信息，从而降低交通状态设计难度，提出一种引入自注意力网络的DRL算

法。首先，仅获取交叉口各进入口车道车辆位置，使用非均匀量化和独热编码方法预处理得到车

辆位置分布矩阵；其次，使用自注意力网络挖掘车辆位置分布矩阵的空间相关性和潜在信息，作

为DRL算法的输入；最后，在单交叉口学习交通信号自适应控制策略，在多交叉口路网中验证所

提算法的适应性和鲁棒性。仿真结果表明，在单交叉口环境下，与3种基准算法相比，所提算法在

车辆平均等待时间等指标上具有更好的性能；在多交叉口路网中，所提算法仍然具有良好的

适应性。

关键词：智能交通；自适应控制；深度强化学习；自注意力网络；近端策略优化

TrafficSignalControlwithDeepReinforcementLearningand

Self-attentionMechanism

*

ZHANGXijun,NIEShengyuan,LIZhe,ZHANGHong

(SchoolofComputerandCommunication,LanzhouUniversityofTechnology,Lanzhou730050,China)

Abstract:Abstract:Trafficsignalcontrol(TSC)isstilloneofthemostimportantresearchtopicsinthetransportationfield.The

existingtrafficsignalcontrolmethodbasedondeepreinforcementlearning(DRL)needstobedesignedmanually,and

itisoftendifficulttoextractthecompletetrafficstateinformationintherealoperations.ThispaperproposesaDRL

algorithmbasedontheself-attentionnetworkforthetrafficsignalcontroltoanalyzethepotentialtrafficfromlimited

trafficstateinformat