基于强化学习的模型参考自适应控制.pdfVIP

第22卷第2期 控 制 理 论 与 应 用 v01．22 No．2 2005年4月 Control Theory＆AppEcafions Apt．2O05 文章编号：1000—8152(2005)02—0291—04 基于强化学习的模型参考自适应控制 郭红霞 ，吴 捷 ，王春茹 (1．华南理工大学电力学院，广东 广州510640；2．广东工业大学 自动化学院，广东 广州510090) 摘要：提出了一种基于强化学习的模型参考自适应控制方法，控制器采用自适应启发评价算法，它由两部分组 成：自适应评价单元及联想搜索单元．由参考模型给出系统的性能指标，利用系统反馈的强化信号在线更新控制器 的参数．仿真结果表明：基于强化学习的模型参考自适应控制方法可以实现对一类复杂的非线性系统的稳定控制 和鲁棒控制，该控制方法不仅响应速度快，而且具有较高的学习速率，实时性较强． 关键词：强化学习；模型参考自适应控制；联想搜索单元；自适应评价单元 中图分类号：TP273 文献标识码：A Model reference adaptive control based on reinforcement learning GUO Hong-xia ，WU Jie ．WANG Chun一 (1．College ofElectrical Eagineering，South01iDaUniversity ofTechnology，GuangzhouGuangdong 510640，Cllina； 2．College ofAutomation，GuangdongUniversity ofTechnology，GuangzhouGuangdong 510090，Cllina) Ab! rad：Aiming at adaptive control problems ofa sortofnonlinear system．model reference adaptivecontrol basedon re- inforcement learning is proposed、The controller uses adaptive heuristic cfi石c algorithm．which consists oftwo elements：adaptive critic element，associative search elen~nt．The desired perfonnan~ index is presented by the reference model，and the controller parameters ale updated by reinforcement sigml given by system、The simulation shows that the propo~ method is efficient for a class of complex nonlinear system，and it has a high learning rate，which is important to online leaming、 Key words：reinforceme nt learning；model reference adaptive control；associative search eleme nt；adaptive critic eleme nts 1 引言(Introduction) 由参考模型给出系统的性能指标，利用奖罚信号训 近来，神经网络由于具有很强的非线性映射能 练网络参数．最后通过仿真实验，并与一般的模糊神 力、并行处理能力和自适应、自学习能力，被广泛用 经网络模型参考自适应控制器的仿真结果相比较， 于非线性系统的自适应控制中【 ，