基于CMAC网络强化学习的电梯群控调度.pdfVIP

维普资讯 第 2期 电 子 学 报 Vo1．35 No．2 2007年 2月 ACrAELECⅡl0NICA SINlCA Feb． 20o7 基于 CMAC网络强化学习的电梯群控调度 高 阳，胡景凯，王本年，王冬黎 (南京大学软件新技术国家重点实验室，江苏南京210093) 摘 要： 电梯群控调度是一类开放、动态、复杂系统的多目标优化问题．目前应用于群控电梯调度的算法主要有 分区算法、基于搜索的算法、基于规则的算法和其他一些自适应的学习算法．但已有方法在顾客平均等待时间等目标 上并不能够达到较好的优化性能．本文采用强化学习技术应用到电梯群控调度系统中，使用 CMAC神经网络函数估计 模块逼近强化学习的值函数，通过 学习算法来优化值函数，从而获得优化的电梯群控调度策略．通过仿真实验表明 在下行高峰模式下，本文所提出的基于CMAC网络强化学习的群控电梯调度算法，能够有效地减少平均等待时间，提 高电梯运行效率． 关键词： 电梯群控调度 ；强化学习；CMAC神经网络 ；函数估计 中图分类号： TP18 文献标识码 ： A 文章编号： 0372-2112(20cr7)02-03624)4 ElevatorGroupControlUsingReinforcementLearningWithCMAC GAOYang，HUJing-kai，WANGBen—nian，WANGDong-li (Nato／tot／￡n60mt0，yforNote／S m Tedmdogy，Nanjn／g ， 嘶 ，且嘴 210093，‰ ) Ab{砸 ： Elevatorgroupcontrolisamulti-objectivet~ qlizalJOllprobleminanopen．complicatedanddynamicalsystem． Ctmenfly，manyalgorithmshavebeenappliedinelevatorgroupcontrol，suchaszoningapptmches，search-basedapptmches，rule- basedapptmchesandotherada~veapproaches．Howeverthesemethodsfailofachievingtheopt~alperf,xman,：eintheaverage waittime．Intiffspaper，thereinforcementlearningtechnologyisapplied intheelevatorgroupconlrolsystem ．TheCMAC netral networkisusedtoapproxthevaluefu 0l1ofreinforcementlearningandQ-learningalg~ithmisusedotq mizethevaluefunc— tion，therebytheopt~alcontrolpolicyof theelevatorgroupcontrolsiachieved．Thesimulationex0erin~ntshowsthattheelevator groupcontrolusingreinforcementlearningwilhCMAC canreducetheaveragewaittimeefficientlyinthedownpeak11~ C． Key、IIIO—s： elevatorgroupcontrol；reinforceraentlearning；CMACneuralnetwork；functionapproximation