CN115097736B 一种基于深度强化学习的自抗扰控制器参数优化方法 （东南大学）.docxVIP

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN115097736B(45)授权公告日2025.07.08

(21)申请号202210955313.7

(22)申请日2022.08.10

(65)同一申请的已公布的文献号申请公布号CN115097736A

(43)申请公布日2022.09.23

(73)专利权人东南大学

地址210096江苏省南京市玄武区新街口

街道四牌楼2号

(72)发明人房淑华王翌丞

(56)对比文件

CN112636652A,2021.04.09

王翌丞.多电飞机用高功率密度永磁同步电机自抗扰控制研究.《中国优秀硕士学位论文全文数据库工程科技II辑》.2022,2022年(第03

期),全文.

审查员施可昕

(74)专利代理机构北京同辉知识产权代理事务

所(普通合伙)11357专利代理师何静

(51)Int.CI.

GO5B13/04(2006.01)

权利要求书2页说明书8页附图3页

(54)发明名称

一种基于深度强化学习的自抗扰控制器参数优化方法

(57)摘要

CN115097736B本发明公开了一种基于深度强化学习的自抗扰控制器参数优化方法，属于机电领域，其中，所述方法包括：以永磁同步电机自抗扰控制器参数作为优化目标；搭建深度强化学习模型，将控制系统作为环境，将电机转速作为状态，以转速平稳程度和抗干扰能力设置奖励，使用Actor-Critic算法训练智能体根据环境和状态选择优化动作，依据动作后获得奖励大小改进优化动作，使智能体自主学习自抗扰参数优化；设计深度确定性策略梯度方法，使参数优化过程收敛，完成基于深度强化学习的参数优化模型训练，获得最优参数。采用上述方案，能以最小人工调试成本获得自抗扰控制器最优参数，进而解决自抗

CN115097736B

kmen)

CN115097736B权利要求书1/2页

2

1.一种基于深度强化学习的自抗扰控制器参数优化方法，其特征在于，包括：

建立起速度环自抗扰控制器模型；根据速度环自抗扰控制器模型选出需要被优化的自抗扰控制器参数及数量，设置优化目标；

结合马尔可夫决策过程搭建自抗扰控制器参数的深度强化学习模型，将当前电机控制系统作为环境，将电机转速曲线作为状态，以转速平稳程度和抗干扰能力设置奖励；

结合马尔可夫过程搭建自抗扰控制器参数的深度强化学习模型；使用Actor-Critic算法使智能体不断与环境交互，自主学习自抗扰控制参数优化方法使用Actor-Critic算法训练智能体根据环境和状态选择不同的优化动作，并依据动作后获得的奖励大小改进优化动作，使智能体不断与环境交互，自主学习到自抗扰控制参数优化的方法；

设计深度确定性策略梯度方法，使参数优化过程收敛，完成基于深度强化学习的自抗扰控制器参数优化模型的训练。

所述速度环自抗扰控制器模型为一阶模型，一阶速度环自抗扰控制器模型包括跟踪微分器、扩张状态观测器和非线性误差状态反馈；

将马尔可夫决策过程与自抗扰控制环境结合，电机转速值设置为：状态，用于评估参数优化效果；电机控制环境设置为：环境，负责在参数变化后给出实时状态；动作，学习对参数进行调整与探索；奖励，采用动作后依据此时环境给出的新的状态进行评估；所采用的奖励函数为：

R=r1es/s?+r?ts/s?+r?t?/s?+r?le?I/s?

其中ee1、t和t1是优化目标，e和e?分别是启动和突然负载转换时的速度误差，trs和t?分别是启动时间和突然负载后速度恢复正常的时间，S?、S?S?和s?是标准化系数，因为优化目标之间的维度不同；r?、r?、r?和r?是四个优化目标的权重系数，根据应用环境的不同需求进行更改，当最终评估值R最小时，将获得最佳优化结果。

2.根据权利要求1所述的基于深度强化学习的自抗扰控制器参数优化方法，其特征在于，采用Actor-Critic算法训练智能体，奖励值作为评价器，动作作为行动者，智能体根据奖励值进行评价，根据评价决定行动者该如何行动；此Actor-Critic回合结束后进行新一轮的交互与学习，直到参数的调整和优化收敛为止。

3.根据权利要求1所述的基于深度强化学习的自抗扰控制器参数优化方法，其特征在于，使用深度确定性梯度策略进行Actor-Critic算法的优化收敛；计算每一步动作梯度下降的方向