深度强化学习在复杂决策环境中的策略收敛与稳定性研究.docxVIP

深度强化学习在复杂决策环境中的策略收敛与稳定性研究

目录

一、文档综述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

二、深度强化学习及复杂决策问题描述．．．．．．．．．．．．．．．．．．．．．．．．．4

2.1深度强化学习基本框架．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

2.2复杂决策环境特征建模．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.3相关数学预备知识．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

三、典型深度强化学习收敛机制分析．．．．．．．．．．．．．．．．．．．．．．．．．．11

3.1基于值函数迭代的主要收敛路径．．．．．．．．．．．．．．．．．．．．．．．．．．11

3.2基于策略梯度的主要收敛路径．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.3不同算法收敛性的对比讨论．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

四、影响策略收敛性的关键因素探讨．．．．．．．．．．．．．．．．．．．．．．．．．．18

4.1环境模型的精确性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

4.2奖励信号的设计与特性．．．．．．．．．．．．．．．．