原创力文档- 1、本文档共21页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
第4章：马尔可夫决策规划(第八至第九次课)402107430
4 Markov
4.1
, .
, , ,
, .
; ; .
, ,
() , : (1) ; (2)
. , ,
, . ,
,
( Markov ), Markov (
MDP).
Markov .
, .
; ; ;
MDP . , Markov
, “” “”, Markov
. , , [5].
4.2 Markov
, Markov {S, (A(i), i∈S), P, r, V }
. , .
· 146 · ——
4.2.1
4.1 () ( )
, . ,
: ( i = 1) ( i = 2). ,
10 , , 0.7,
0.3. , ,
( a ). 2, : ( a )
1 2
( a3). 5 , ( −5 ),
0.6; 2 ,
0.4. : , ,
, .
, , S = {1, 2},
A(1) = {a }, A(2) = {a , a }. P (j |i, a) t
1 1 2
i, a, (t + 1) j . r (i, a)
t i, a . P (j |i, a)
r (i, a) t . P (j |i, a) r (i, a) ,
4.1.
4.1
P (j |i, a) ()
(i) (a)
j = 1 j = 2 r (i, a)
1 a1 0.7 0.3 10
a2 0.6 0.4 −5
2
a3 0.4 0.6 −2
() f : 1
, a ; 2 , a . f (1) = a , f (2) =
1 2 1
a . , g : g (1) = a , g(2) = a .
2 1 3
t = 0 , f, g , f0 (
), i r (i, f0 (i)); t = 1 ,
j P (j |i, f0 (i)) (i, j = 1, 2), f, g ,
f1. , ,
2
P (j |i, f0 (i))r (j, f 1 (j )). t = 2 , k
j =1
P (k |j, f (j )) (k, j = 1, 2). f, g , f . ,
文档评论（0）