《强化学习理论与应用》基于AC框架的深度强化学习方法.pptVIP

目录;2;3;14.1行动者-评论家架构（1）;14.1行动者-评论家架构（2）;14.1行动者-评论家架构（3）;14.2行动者-评论家架（4）;14.2行动者-评论家架（5）;目录;14.2A3C算法（1）;14.2A3C算法（2）;14.2A3C算法（3）;14.2A3C算法（4）;14.2A3C算法（5）;14.2A3C算法（6）;14.2A3C算法（7）;14.2A3C算法（8）;14.2A3C算法（9）;14.2A3C算法（10）;14.2A3C算法（11）;14.2A3C算法（12）;14.2A3C算法（13）;14.2A3C算法（14）;14.2A3C算法（15）;14.2A3C算法（16）;14.2A3C算法（17）;14.2A3C算法（18）;14.2A3C算法（19）;14.2A3C算法（20）;14.2A3C算法（21）;14.2A3C算法（22）;目录;14.3A3C算法的实验结果及分析（1）;14.3A3C算法的实验结果及分析（2）;14.3A3C算法的实验结果及分析（3）;14.3A3C算法的实验结果及分析（4）;14.3A3C算法的实验结果及分析（5）;14.3A3C算法的实验结果及分析（6）;14.3A3C算法的实验结果及分析（7）;14.3A3C算法的实验结果及分析（8）;目录;14.4A2C算法（1）;14.4A2C算法（2）;目录;14.5A2C算法的实验结果与分析（1）;14.5A2C算法的实验结果与分析（2）;14.3A3C算法的实验结果及分析（3）;14.3A3C算法的实验结果及分析（4）;目录;本章介绍了基于异步优势函数的行动者评论家算法（A3C）和其改进版本A2C算法:

与DQN算法相比，A3C算法使用多个Agent异步地与环境进行交互，因而不单纯依靠GPU，可以使用多个CPU来训练。每个Agent在相对应的工作组中累积梯度，并对全局网络进行更新。

针对A3C算法在工作组中累积梯度造成内存消耗大的问题，提出了改进的A2C算法。在A2C算法中，工作组只负责采样，不再进行梯度累积，梯度累积只在全局网络中完成。实验表明，A3C算法和A2C算法均能在给定的环境中训练至收敛，并且可以通过实验确定最佳策略熵温度参数和学习率。;简述A3C算法不采用经验回放机制的原因。

简述A3C算法和A2C算法采用并行架构的优势。

参考图14.2,根据A2C算法的描述,请画出A2C算法的架构图。

（编程）比较不同参数（学习率、策略熵温度等）对A2C算法性能的影响。

（编程）实现运行在GPU上的A3C算法。;