交叉口智能信号控制.ppt

单路口智能信号控制1神经网络自学习控制方法（简称方法1）神经网络学习交警控制经验方法（简称方法2）控制效果比较PARTONE基于智能体的信号交叉口控制基于智能体的信号交叉口控制基于智能体的信号交叉口控制交通信号控制系统在物理位置和控制逻辑上分散于动态变化的网络交通环境，将每个路口的交通信号控制器看做一个异质的智能体，非常适合采用“无模型、自学习、数据驱动”的多智能体强化学习方法建模与描述。自Thorpe于1997年首次将强化学习（reinforcementlearning，RL）方法应用于交通信号最优化控制以来，多智能体强化学习（multi-agentreinforcementlearning，MARL）在区域交通自适应控制领域迅速发展并已有实际应用。多智能体强化学习：智能体它们单独的和环境进行交互。在一种情况下它们各自优化自己的目标，但这些目标之间有约束；另一种情况下，它们联合起来优化一个主要的目标方程。根据具体的情况会有不同的变化。2基于智能体的信号交叉口控制 绝大多数研究以假设的静态随机环境为研究对象，采用完全孤立或部分状态合作的协调机制进行本地路口的最优化控制，这制约了网络交通控制系统的整体效益。近年来，基于动作联动的MARL控制方法发展迅速，其以联动协同的方式逼近全局最优的控制策略；同时，算法的验证也由假设的交通网络向现实的交通网络发展。MARL控制的演化发展2基于智能体的信号交叉口控制1）MARL控制系统的优势从控制理论来看，MARL控制可根据控制效果的反馈信息自主学习并优化策略知识，是一种真正的闭环反馈控制。从控制范围来看，其可精确推理多个路口间的最优联合动作，丰富了区域交通协调控制的内容及形式。从控制实时性来看，它没有复杂的模型优化模块，采用秒级的即时决策，可实时响应时变交通流的变化。从系统可拓展性来看，分散式MARL控制具有统一的结构模型，可针对特定路网结构和交通流特性进行相应改造。从系统兼容性来看，MARL控制本身仅需要系统的输入和输出数据，对数据具体采集的技术和形式无要求。2基于智能体的信号交叉口控制交通信号RL智能体的标准模型如图1所示，每个路口的交通信号机被抽象为一个智能体，控制对象为道路交通网络上时变交通流。RL智能体与被控对象在闭环系统中不断进行交互，通过观察交通环境的实时状态，提取信号控制所需的交通状态信息和反馈奖励信息，选择相应的行为动作并执行；进而跟踪评测所选择动作的控制效果，以累积回报收益最大化为目标，优化控制策略直至收敛到“状态和动作”的最优概率映射。因而，RL智能体将控制系统的优化过程按照时间进程划分为状态相互联系的多个阶段，并在每个阶段根据当前状态进行最优决策，这是典型的马尔可夫决策过程（Markovdecisionprocess,MDPs）。22）RL控制标准模型引言02）交通信号控制系统的分类定时式脱机系统自适应控制系统智能控制系统点控方式线控方式面控方式引言03）信号控制方法应用现状目前，在全球范围广泛采用的交通信号控制系统包括澳大利亚的SCATS系统和英国的SCOOT系统。SCATS属于方案选择式控制系统，每个交叉口配时方案根据子系统的整体需要进行选择，现在上海运行着该系统；SCOOT属于方案生成式实时自适应控制系统，采用小步长渐进寻优的方法，连续实时地调整绿信比、周期和时差3个参数，北京已引进该系统。引言0国内其他城市交通控制系统应用情况1单路口智能信号控制单路口智能信号控制1定时控制：根据以往观测到的交通需求，按预先设定的配时方案进行控制，因此它对交通需求的随机变化是无法响应的。感应控制方法缺陷：感应控制只能检测是否有车辆到达而不关心有多少辆车到达，因此，它无法真正响应各相位的交通需求，也就不能使车辆的总延误最小。例如：设某相位最短绿时为10s，最大绿时为40s，单位绿延时为5s，则在5s绿延时结束前，如果只有一辆车到达，仍须给出5s的单位绿延时，极端情况下重复上述过程直到最大绿时，共放行了11辆车，而在此期间，下一相位车道却有15辆车等待绿灯，很显然总的车辆延误没有达到最小。单路口智能信号控制11）单路口两相位的模糊控制1977年，Pappis等人设计了一种单路口两相位模糊逻辑控制器，计算机仿真结果证实了该方法的有效性。这是最早将模糊逻辑用于交通控制的例子。下面从延误模型、模糊算法和模糊控制几方面进行介绍。单路口智能信号控制1（1）延误模型考虑两相位控制的十字路口，东西向为一个相位，南北向为一个相位。假定各方向到达的车辆是随机的，且到达的车辆数服从均匀分