多agent强化学习下的城路网自适应交通信号协调配-交通运输研究.pdfVIP

Vol.3 No.2 TRANSPORTRESEARCH 交通运输研究 DOI：：10.16503/ki.2095-9931.2017.02.003 第3卷 第2期 |2017年4月 多Agent 强化学习下的城市路网自适应 交通信号协调配时决策研究综述 夏新海 （广州航海学院 港口与航运管理学院，广东 广州 510725） 摘要：相对于传统的交通信号配时决策方法，多Agent 强化学习及其协调方法能更好地适应城市 路网交通环境的变化。为探讨其在城市路网自适应交通信号配时决策中的应用，系统地总结了多 Agent 强化学习及协调机制的研究方法，详细地分析了国内外研究现状，并指出现有研究中存在 的问题，在此基础上对未来研究进行了展望。研究结果表明，既有研究主要针对规模较小的路 网，存在维数灾难问题，强化学习与协调机制结合研究还不够深入，相关学习参数分析不够细 致，仿真环境和情景现实性不强。未来研究可以引入马尔科夫博弈提高决策协调性，嵌入混合交 通流、公交优先等交通管理思想增强决策实用性，引入先验知识及其他学习技术加快学习速度， 融入物联网、主动管理、大数据等先进理念和前沿技术增加决策的实时性，与交通诱导等集成提 升决策的系统性。 关键词：Agent；强化学习；交通信号；交叉口；信号配时 中图分类号：U491.51 文献标识码：A 文章编号：2095-9931（2017）02-0017-07 Review of Study on Adaptive Traffic Signal Coordinated Timing Decision of Urban Road Network under Multi-Agent Reinforcement Learning XIAXin-hai (DepartmentofPortandShippingManagement,GuangzhouMaritimeUniversity,Guangzhou510725,China) Abstract: Comparedwiththeapproachesoftraditionaltrafficsignaltimingdecision,multi-agentrein⁃ forcementlearninganditscoordinationmethodcanbetteradapttothevariationoftrafficenvironmentof urbanroadnetwork.Inordertoexploreitsapplicationinadaptivetrafficsignalcoordinatedtimingdeci⁃ sionofurbanroadnetwork,theresearchmethodsofmulti-agentreinforcementlearninganditscoordina⁃ tionmechanismweresystematicallysummarized,theresearchstatusathomeandabroadwereextensive⁃ lyanalyzed,andtheexistingresearchproblemswereputforward.Finally,thedirectionsoffuturere⁃ searchonthistopicwerediscussed.Thestudyresultsshowthattheexistingresearchmainlyaimsat smallscaleroadnetworkandexiststheproblemofdimensiondisaster.Theresearchofcombinationofre⁃ inforcementlearningandcoordinationmechanismisn′tdeepenough.Therelevantlearningp