基于Q学习的交通信号自学习控制方法的研究.pdfVIP

· ll2 · 工业仪表与 自动化装置 2013年第4期 基于Q学习的交通信号 自学习控制方法的研究 曹 洁，王艳雨 (兰州理工大学 电气工程与信息．3--程学院，兰州 730050) 摘要：为了减少车辆通过交叉口的平均延误时间，将 Q学习与模糊推理相结合对基于智能体 的单交叉口进行信号配时优化，以适应动态变化的交通流。在模糊控制规则集的基础上，通过遗传 算法优化模糊推理中的隶属度函数参数，克服传统隶属度函数设计的主观性和盲 目性。在此基础 上，通过Q学习算法对其在线学习，以实现单交叉 口交通信号控制智能体的 自学习能力。仿真表 明，该方法相比于传统的定时控制与模糊控制，具有较好的控制效果。 关键词：Q学习；模糊推理；遗传算法；智能体；交通信号控制 中图分类号：U491．51 文献标志码 ：A 文章编号：1000—0682(2013)04—0112—04 Studyonself-learningtrafficsignalcontrolmethodbasedonQ learningalgorithms CAOJie，WANG Yanyu (CollegeofElectricalandInformationEngineering，LanzhouUniversityofTechnology，Lanzhou730050，China) Abstract：Inordertoreducetheaveragedelaytimeofvehiclespassingintersection，tooptimizethe signaltimingofagentcontrolledintersectionbyQlearningmethodandfuzzyreasoningtoadaptdynamic variabletrafficflow．Onthebasisoffuzzyrulesetforsignalcontrol，toimprovetheeffectofsignalcontrol andself—learningofsignalcontrolagentinansingleintersectionthroughQlearning，whichisbasedon optimizingfuzzycontrolmembershipfunction’Sparameterswithgeneticalgorithmsandavoidingthesub— jectivityandblindnessofdesigningthetraditionalones．Theresultofsimulationillustratesthatthesignal controlmethodbasedonQlearningisbetterthanfixed—timecontrolandfuzzycontro1． Keywords：Qlearning；fuzzyreasoning；geneticalgorithms；agent；trafficsignalcontrol 通信号的控制，并通过模拟实验证明了该方法的有 0 引言 效性，但该方法不具有 自学习的能力。Gerson 等 目前，随着社会经济迅速的发展，城市机动车辆 提出了基于相序选择的城市交叉 口模糊控制方法， 不断增加，导致城市交通量猛增，许多大城市出现了 可以根据实际的交通流状况，选择不同的起始相位 交通超负荷运行，这已成为交通运输管理和城市规 和执行相序。然而相序模糊控制器的隶属度函数和 划部门亟需解决的问题。然而，土地的利用、经济的 模糊控制规则还有待进一步的优化。高俊侠 等 制约等问题限制了道路的建设，这就需要在不扩张 将模糊控制与遗传算法相结合，用遗传算法优化了 路网规模的前提下，运用现代信息与通信技术来提