基于强化学习的jlq模型的直接自适应最优控制-控制与决策.pdfVIP

第 23 卷 第 12 期 控 　制 　与 　决 　策 　2008 年 12 月 Vol . 23 No . 12 Cont rol an d D ecis ion 　　　Dec . 2008 　　文章编号 : 100 10920 (2008) 基于强化学习的JL Q 模型的直接 自适应最优控制 徐琰恺 , 陈　曦 (清华大学 a . 自动化系 , b . 智能与网络化系统研究中心 , 北京 100084) ( ) 摘 　要 : 研究离散时间跳变线性二次 JL Q 模型的直接 自适应最优控制问题. 将强化学习的理论和方法应用于 J L Q 模型 ,设计基于 Q 函数的策略迭代算法 , 以优化系统性能. 在系统参数以及模态跳变概率未知的情况下 , Q 函数对应 的参数矩阵 ,可通过观察给定策略下系统行为 ,应用递归最小二乘算法在线估计. 基于此参数矩阵 ,可构造出新的策 略使得系统性能更优. 该算法可收敛到最优策略. 关键词 : Markov 跳变线性系统 ; 策略迭代 ; Q 函数 ; 直接 自适应最优控制 中图分类号 : TP 13 　　　　文献标识码 : A Reinf orcement learningbased direct adaptive optimal control of JL Q model X U Yank ai , C H E N X i ( a . Dep art ment of Automation , b . Cent er for Int elligent and Networked Syst em s , Tsinghua U niver sit y , Beij ing 100084 , China . Correspondent : XU Yankai , Email : xuyankai99 @mail s. t hu . edu . cn) Abstract : The di scret etime direct adap tive op timal cont rol p roblem of j ump linear quadratic ( J L Q ) mo del i s investigat ed . Reinforcement learning t heory and app roaches are applied to JL Q mo del and Q functionba sed policy it eration algorit hm i s designed to op timize sy st em p erformance . When t he sy st em p aramet er s and j ump p robabilities of mo des are unknown , t he p aramet er mat rix wit h resp cet to Q function i s online estimat ed by ob serving sy st em behavior under a given cont rol law wit h recur sive lea st square algorit hm . Moreover , ba sed on t hi s mat rix , a new policy which can imp rove sy st em p erformanc i s con st ruct ed . The algorit hm can conver ge to t he op timal policy . Key words : Markov j ump linear s