原创力文档- 1、本文档共10页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
应用统计创新能力实践报告
这一学期我的学习重点主要在强化学习的理论知识，我将其分为基础工具和算法，其中基础工具包括：基础概念、贝尔曼公式和贝尔曼最优公式，算法包括：值迭代策略迭代和蒙特卡洛学习。
用网格的例子初步理解强化学习：网格包含边界以及可行区域、禁区、目标区域，而强化学习的主要任务是对于任意给定的起点，找到一个“好”的方式到达目标区域，“好”的方式意味着要避免禁区、边界以及没有意义的拐弯。
1.基础概念
基础概念作为我学习的第一章，主要接触了状态、行动、奖励、回报、回合、策略等名词的概念，是后续强化学习的基础。
名词
含义
状态
相对于环境的状态
行动
对于每一个状态可以采取的行动（如向左、向右）
状态转移
从一个状态到另一个状态
策略
在一个状态所采取的行动
奖励
在采取一个行动后所得到的数，若为正则代表鼓励这个行为，若为负则代表惩罚这个行为
轨迹
包含状态、行动和奖励的链
回报
轨迹中所有奖励的加和
折扣回报
引入折扣率的回报
回合
有限的轨迹
将上述的基础概念放入马尔可夫决策过程中：
集合：S为状态集合，A(s)为行动集合，R(
概率分布：状态转移概率p(s|s,a)表示处于状态s，采取行动a后到达状态s的概率；回报概率p(r|s,a)表示处于状态
策略：策略概率π(a|s)表示处于状态s，采取行动
马尔科夫性质：无记忆性
p
p
所以马尔可夫决策过程可以理解为：马尔科夫表示的是马尔科夫性质，决策表示的是策略，过程表示的是概率分布+集合。当策略给定，马尔可夫决策过程就变成了马尔可夫过程。
2.贝尔曼公式与贝尔曼最优公式
回报可以评估策略的好坏，以便于我们去改进策略。从不同状态出发得到的回报是依赖于从其他状态出发得到的回报，这种思想在强化学习中被称为自助法。
对于如下的轨迹：
S
折扣回报为
G
γ∈[0,1)为折扣率。将Gt的期望称为状态价值
v
状态相同的情况下，状态价值越大，表示策略越好。状态价值是从一个状态开始所有可能获得的回报的均值。在π(a|s)、p(
2.1贝尔曼公式
可以看出计算出状态价值对于评估策略是至关重要的，贝尔曼公式描述了不同状态的状态价值之间的关系，故可以用于计算状态价值。
对于上述的轨迹
G
=
=
v
=E
=E
其中
E
=
为即时奖励的均值。
E
=
=
=
是未来奖励的均值。因此
v
上式被称为贝尔曼公式.其中vπs和vπs需要被计算出来（采用自助法），πas是给定的策略，prs,a和ps
v
则称π1要优于π
r
p
贝尔曼公式可以写作
v
将所有状态放在一起，可以得到它的矩阵形式：
v
其中vπ=[vπs
采用迭代算法解贝尔曼公式：
v
v
状态价值描述的是从一个状态出发所得到的平均回报，但若想知道对于给定的状态哪个行动是更好的，则需要关心行动价值。
q
可以看出
E
即
v
所以，状态价值其实是选择不同行动得到行动价值的一个权重均值，权重为策略。由状态价值的表达式可以得出：
q
称π*为最优策略，若对于其他任意的策略π
v
2.2贝尔曼最优公式
为了探究最优策略相关问题，学习了贝尔曼最优公式：
v
=
贝尔曼公式是依赖于给定的π，而贝尔曼最优公式并未给定π，同时vs与vs
v=
[
[
3.值迭代策略迭代
若将f(v)?max
v=f(v)
根据压缩映射定理可知，上述方程存在唯一解v*，可以通过值迭代算法、策略迭代算法和截断策略迭代算法三个算法求出。算法对于任意给定的初值v0（或π
v
其中
π*
a*
3.1值迭代算法
对于任意给定的初值v0，
算法步骤
分解
策
略
更
新
π
元素形式
最优策略：
其中，
值
更
新
v
元素形式
由于πk+1是贪婪策略，所以
v
流程
v
算法步骤
对于每个s?
对于每个a∈
行动价值：q
行动价值最大：a
策略更新：π
状态价值更新：v
若|v
3.2策略迭代算法
对于任意给定的初始策略π0，
算法步骤
分解
策
略
评
价
v
元素形式：
v
当j→∞或∥v
策
略
改
进
π
元素形式
q
贪婪策略：
其中，
π
流程
π
算法步骤
当∥v
对于任意给定初值vπk(0)
对于每个s?
对于每个a∈
q
将两种算法步骤做一个对比：
策略迭代算法
值迭代算法
策略
π
值
v
v
策略
π
π
π
值
v
v
v
策略
π
π
?
?
?
?
3.3截断策略迭代算法
在策略迭代算法中，策略评价步骤嵌套了一个迭代，以解vπ1=r
?
?
于是得到了一个新的算法：截断策略迭代算法。观察可
文档评论（0）