强化学习 课件 第7章 Actor-Critic型算法.pptx

第七章Actor-Critic型算法北京大学余欣航

目录Actor-Critic算法Actor-Critic算法的改进确定性策略梯度算法（DPG、DDPG）案例：利用Actor-Critic算法求解钟摆平衡问题

Actor-Critic算法

?策略梯度方法的不足之处

?Actor-Critic算法

?Actor-Critic算法?利用Critic估计的值函数指导Actor的更新方向

Actor用来生成策略，并将策略交给Critic进行执行并评判，两者类似演员和观众的关系，开始时Actor随机表演，Critic随机打分，经过不断训练，Critic打分越来越准，Actor表演越来越好Actor和Critic?

?Actor-Critic算法流程?使用需要评估的策略与环境交互

?Actor-Critic算法流程使用TD(0)偏差来指导Critic网络参数的更新使用Q值指导Actor网络参数的更新

Actor-CriticwithBaseline?

优势函数的理解???????

优化技巧?

Actor-CriticwithBaseline算法流程?

?Actor-Critic算法总结

Actor-Critic算法的改进

广义优势函数估计?

广义优势函数估计?

Actor-CriticwithExperienceReplay（ACER）?WangZ,BapstV,HeessN,etal.Sampleefficientactor-criticwithexperiencereplay[J].arXivpreprintarXiv:1611.01224,2016.

并行训练并行训练可以解决数据间关联性强，独立性差的问题一个“本体”网络，称为globalnet，包含“本体”Actor网络和Critic网络多个“分身”网络，称为thread-specificnet：包含“分身”Actor网络和Critic网络结构与“本体”网络完全一致完全独立地与环境交互和训练“分身”网络只计算出需要更新的梯度并将其交给“本体”网络，自身参数并不根据梯度更新“本体”网络进行参数更新后，每过一段时间，再将自身参数同步给“分身”网络

A3C算法?MnihV,BadiaAP,MirzaM,etal.Asynchronousmethodsfordeepreinforcementlearning[C]//Internationalconferenceonmachinelearning.2016:1928-1937.

异步并行训练Asynchronous是“异步”的意思，“分身”积累一定地需要更新的梯度，马上传递给“本体”，不用顾及其它“分身”的情况各个“分身”相互独立，与“本体”通信的时间不同步

Critic评估函数的优化?

A3C算法流程?

A3C算法流程?

A2C算法A3C的主要优势在于采用了并行训练，而不一定采用异步并行训练同步并行训练的Actor-Critic算法在A3C的基础上去掉了异步（Asynchronous）,所以称为AdvantageActor-Critic，简称A2C增加“协调员”（Coordinator）机制

同步并行训练当“分身”请求与“本体”发生通信，“协调员”会记住分身，并令其等待“协调员”发现所有“分身”都请求通信后，会把它们要回报的信息一起交给“本体”待“本体”更新后，“协调员”把“本体”最新的参数同时传给所有“分身”

确定性策略梯度算法（DPG、DDPG）

确定性策略?

用基于价值的角度理解回顾Q-learning中的迭代公式：如果在动作连续的MDP中Q是什么形式的函数？对于确定的s’，如何才能求出a’使得Q(s’,a’)最大？为此，必须定义一个专门的网络用来确定maxQ！

确定性策略梯度（DeterministicPolicyGradient，DPG）???

Off-policy确定性策略梯度??

Off-policy确定性策略梯度???

DDPG算法?

DDPG算法?

DDPG算法流程?

DDPG算法流程?

DDPG算法流程???

DDPG算法流程???

DDPG算法流程

DDPG算法总结结构神经网络公式表示输入输出Critic目标网络原网络Actor目标网络原网络

总结基于价值—SarsaDQN基于策略—策略梯度Actor-CriticDDPGA2CA3C异步并行训练同步并行训练

案例：利用A2C算法求解钟摆平衡问题

钟摆平衡问题倒立摆问题是控制中的经典问题钟摆以随机位置开始，向上摆动，目标是使其保持直立通过控制其左右摆动达到最高位置然后控制其静止

转化为MDP问题