随机线性二次控制的资格迹方法.pdf

PureMathematics理论数学,2024,14(1),416-432

PublishedOnlineJanuary2024inHans./journal/pm

/10.12677/pm.2024.141041

随机线性二次控制的资格迹方法

朱亚楠

上海理工大学，理学院，上海

收稿日期：2023年12月20日；录用日期：2023年12月29日；发布日期：2024年1月31日

摘要

本文研究了强化学习方法在线性二次控制问题(LQR)中的应用。在LQR问题的研究中，常见的方法通过

求解代数黎卡提方程得到最优控制，并不直接优化控制增益。本文在策略梯度算法的基础上引入资格迹

方法，直接优化控制增益矩阵。考虑已知和未知参数两种情况下，资格迹方法的收敛。在有限时域和高

斯噪声的条件下，分别给出了已知和未知参数两种情况下算法的全局收敛保证。参数未知时，利用零阶

优化定理近似梯度项，这可以将问题扩展至代价函数非凸的情况。数值模拟结果显示资格迹方法与梯度

下降算法相比更快收敛，方差更小。

关键词

线性二次最优控制，梯度下降，资格迹

EligibilityTraceMethodforStochastic

LinearQuadraticControl

YananZhu

CollegeofScience,UniversityofShanghaiforScienceandTechnology,Shanghai

ththst

Received:Dec.20,2023;accepted:Dec.29,2023;published:Jan.31,2024

Abstract

Thispaperstudiestheapplicationofreinforcementlearningmethodtolinearquadraticregulator

(LQR)problem.ForthestudyofLQRproblem,theusualmethodistoobtaintheoptimalcontrolby

solvingthealgebraicRiccatiequation,butnottooptimizethecontrolgaindirectly.Thispaperop-

timizesthecontrolgaindirectly,proposestheeligibilitytracemethodonthebasisofgradient

descentalgorithm,andproducesglobalconvergenceguaranteeinthecaseofknownandunknown

parameters,inthesettingoffinitetimehorizonandGaussiannoise.Whentheparametersare

unknown,thezero-orderoptimizationtheoremisusedtoapproximatethegradientterm,which

文章引用:朱亚楠.随机线性二次控制的资格迹方法[J].理论数学,2024,14(1):416-432.

DOI:10.12677/pm.2024.141041

朱亚楠

canextendtheproblemtocaseswherethecostfunctionisnotconvex.Num