城市交叉口信号灯智能优化控制方法的研究.pdf

摘要 摘要 随着城市化进程的加快和机动车数量的迅猛增加，城市交通拥堵问题日益 严重。智能交通系统(rrs)作为解决城市交通问题的主要手段受到世界各国的 广泛关注．其中，城市交通控制系统作为ITS的重要组成模块，一直是研究的 热点和焦点。但由于城市交通系统的复杂性、时变性和不确定性，现有控制技 术并不能够完全满足城市交通的需求，因而迫切要求挖掘和开发新的控制技术。 本文分别应用二十世纪九十年代兴起的混杂系统理论以及人工智能范畴的强化 学习方法研究城市交叉口信号灯控制问题，旨在为信号灯控制的实施提供新的 思路和解决办法。 混杂系统理论与传统的连续反馈控制相比较，引入了基于逻辑的离散事件 动态，其优化控制问题就是通过控制切换时间以求得最优的控制性能。城市交 叉口信号灯控制系统既包含连续动态过程，又包含离散事件切换过程，是一个 典型的混杂系统。交叉口信号灯混杂系统的优化控制就是通过控制信号灯的相 位切换时间以求得最佳的控制性能。本文基于单交叉口信号灯控制系统的混杂 特性，建立了单交叉口信号灯控制的混杂切换系统模型。应用混杂切换系统两 状态优化法研究单交叉口信号灯最优控制；在此基础上，提出遗传算法和两状 态法相结合研究混杂切换系统最优控制问题，并应用该方法实现单交叉口信号 灯全局最优控制。对于两交叉口信号灯控制，同样建立其混杂切换系统模型， 仿真分析了该模型的可行性。提出对于不易建立精确数学模型的混杂系统，能 够应用强化学习实现其优化控制，并给出了采用该方法解决两交叉口信号灯控 制的基本思路。研究结果表明，单交叉口信号灯控制具有典型的混杂切换系统 特征，能够应用混杂切换系统优化理论实现最优控制，提高道路通行能力。对 于两交叉口这样复杂的混杂对象，学习系统的学习机制能够保证控制的优化， 说明该方法的有效性。 根据城市交通系统的典型特征，期望交通控制系统具有控制策略的自寻优 能力和对环境变化的自适应能力。据此本文还利用人工智能领域的强化学习方 法研究信号灯优化控制问题。首先，设计了两种方法实现单交叉口变相序控制： 一是，应用Q学习和模糊控制器组成混合控制器：二是，基于模糊规则设计强 北京【业人擘J学博t。掌化论卫 化信号，改进Q学习算法。其次，从两方面研究了基于强化学习的两交叉CI信 号灯协调控制问题。一方面，基于基本Q学习算法；提出了两相邻交叉口组合 相位的概念，将两交叉口转换为单交叉口，应用基本Q学习算法解决两交叉口 协调控制；另外，引入博弈论，改进基本Q学习算法，提出Gam争Q学习。分 析两交叉口之间的协调特征，以合作博弈解作为Q学习的决策选择依据，实现 两交叉13协调控制。另一方面，基于分布式Q学习算法；采用独立分布式Q学 习算法解决两交叉口协调控制问题。这种外延式的协调方式不采用组合动作； 另外，采用群体分布式Q学习算法，提出了NashCC—Q学习，在两交叉口组合 相位概念的基础上，引入合作博弈协调机制，通过求解合作博弈解，实现两交 叉口内涵式的协调控制。应用Paramics微观交通仿真软件进行控制算法的仿真 实验，结果表明，强化学习能够适应多变的交通环境，取得很好的控制效果。 论文的最后，采用独立分布式Q学习算法解决多交叉口线控制以及面控制，说 明独立分布式强化学习在解决多学习体协调时的优势。 关键词：切换型混杂系统，混杂系统优化控制，强化学习，Q学习，Game-Q 学习，分布式Q学习，NashCC-Q学习，博弈论，合作博弈谈判解，交叉口信 号灯控制 Ⅱ k,BSTRk,13T Withthethe of andthe ofvehicle raisingcity increasing llUmbcrs, proceeding 础c bec0】mesaserious thattinsattractedmuelare．arch congestion problem in eot