基于强化学习的激光导航AGV控制方法研究.pdfVIP

摘要

AGV（AutomaticGuidedVehicle，自动导引车）作为柔性的自动化搬运设备

对智能物流和工业4.0的发展具有重要的促进作用。其中路径跟踪是AGV实现

高精度控制的核心技术，也是AGV在很多工业领域推广应用的难点。为了解决

未知参数带来的建模困难以及避免大量的人工试验工作，本文针对激光导航

AGV（Laser-guidingAutomaticGuidedVehicle，LAGV）设计了基于深度强化学

习的路径跟踪控制算法，并通过引入元学习使控制算法发现学习的规律，从而在

面对参数波动较大的LAGV时可以快速的实现路径跟踪。本文的主要研究工作

如下：

（1）基于改进的深度强化学习路径跟踪控制算法设计。基于对LAGV路径

跟踪系统的构建，并将问题建模为马尔科夫决策过程（MarkovDecisionProcess，

MDP）。使用演员评论家框架（Actor-Critic）解决路径跟踪的MDP模型中状态

空间、动作空间的连续性问题，并利用具有重要采样技术和良好探索性的近端优

化策略算法作为控制算法的策略梯度，最后结合有限步优势估计与高斯动作输出

来实现LAGV的路径跟踪控制算法。实验结果表明，相比于PID和其他强化学

习算法，本文的控制算法能够更加精确稳定地实现路径跟踪。

（2）基于元强化学习的路径跟踪控制算法。在本次研究中结合Actor-Critic

框架设计了一种元状态评论家（MetaStateCritic，Meta-SC）作为元学习网络，

该网络由评论家（Critic）网络和具有记忆功能的任务演员编码器网络（TaskActor

EncoderNetwork，TAEN）构成。通过同步更新的方式将路径跟踪任务的特性同

时存储在TAEN和Critic网络中，实现Critic对任务层面的状态值函数进行估计，

使得Meta-SC能够建立LAGV路径跟踪的核心价值网络，从而在面对参数波动

较大的LAGV进行路径跟踪时，利用以往的核心价值经验来指导对应的演员

（Actor）网络实现少量样本的快速学习，达到加速算法训练过程的目的。实验

结果表明，相比于传统的强化学习和与模型无关的元学习（Model-Agnostic

Meta-Learning，MAML），本文的Meta-SC元学习算法能够更大程度的提升训练

效率。

关键词自动导引车，路径跟踪，深度强化学习，元学习

ABSTRACT

AGV(AutomaticGuidedVehicle)asaflexibleautomatedhandlingequipment

hasanimportantroleinpromotingthedevelopmentofintelligentlogisticsand

Industry4.0.Amongthem,pathfollowingisthecoretechnologyofAGVtoachieve

high-precisioncontrol,anditisalsothedifficultyofAGVspromotionand

applicationinmanyindustrialfields.Inordertosolvethemodelingdifficultiescaused

byunknownparametersandavoidalotofmanualtestwork,thispaperdesignsapath

followingcontrolalgorithmbasedondeepreinforcementlearningforLaser-guiding

AGV(LAGV),andintroducesmeta-learningThecontrolalgorithmdiscoversthe

learninglaw,sothatwhenfacedwithdifferentparamete