CN107346138-CN201710458496-一种基于增强学习算法的无人船侧向控制方法.pdfVIP

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 107346138 A (43)申请公布日 2017.11.14 (21)申请号 201710458496.0 (22)申请日 2017.06.16 (71)申请人 武汉理工大学 地址 430070 湖北省武汉市洪山区珞狮路 122号 (72)发明人 赵东明　周浩　朱楷　柳欣　 (74)专利代理机构 湖北武汉永嘉专利代理有限 公司 42102 代理人 张惠玲 (51)Int.Cl. G05D 1/02(2006.01) G05B 13/04(2006.01) 权利要求书2页 说明书6页 附图1页 (54)发明名称 一种基于增强学习算法的无人船侧向控制 方法 (57)摘要 本发明公开了一种基于增强学习算法的无 人船侧向控制方法，建立无人船行驶的动力学模 型，采用简化的船体-路径一体化模型；根据无人 船侧向控制性能的要求，选择无人船侧向控制器 的设计方案；无人船侧向控制器中增强学习控制 器采用Actor-Critic结构，分为执行器网络和评 价器网络；设计无人船的侧向偏差参考模型；通 过对性能指标的优化，实现系统状态或输出对参 考模型状态的跟随，进而保证了系统的性能优 化。本发明的优点在于：增强学习基于动物学习 心理学的“试误法”原理，使得无人船能够在与环 A 境的交互过程中根据评价性的反馈信号实现序 8 贯决策的优化，从而可以用于解决某些监督学习 3 1 6 难以应用的优化控制问题。 4 3 7 0 1 N C CN 107346138 A 权　利　要　求　书 1/2页 1.一种基于增强学习算法的无人船侧向控制方法，其特征在于：包括如下步骤： 步骤1：建立无人船行驶的动力学模型，采用简化的船体-路径一体化模型； 步骤2：根据无人船侧向控制性能的要求，选择无人船侧向控制器的设计方案； 步骤3：无人船侧向控制器中增强学习控制器采用Actor-Critic结构，分为执行器网络 和评价器网络； 步骤4：设计无人船的侧向偏差参考模型； 步骤5：通过对性能指标的优化，实现系统状态或输出对参考模型状态的跟随，进而保 证了系统的性能优化。 2.根据权利要求1所述的一种基于增强学习算法的无人船侧向控制方法，其特征在于： 所述步骤1： 采用如下简化的船体-路径一体化模型： 其中：y为路径跟踪的侧向偏差，θ为方向角偏差，即船体的纵轴方向与期望路径切线方 向的偏差；a(t)为转向舵偏角，a (t)为转向舵偏角的控制量；τ(t)为方向控制的时间常数； c a ρ为路径曲率。 3.根据权利要求2所述的一种基于增强学习算法的无人船侧向控制方法，其特征在于： 所述步骤2： 所述基于增强学习的自适应PID控制律具有如下形式： 其中：k ，k ，k和k 为固定增益常数，根据手工调整的PID参数设定；Δk ，Δk为执行 p0 a0 D I a p 器神经网络的输出。 4.根据权利要求3所述的一种基于增强学习算法的无人船侧向控制方法，其特征在于： 所述步骤3： n 所述评价器网络采用CMAC网络，第一层特征映射Cq →f