强化学习笔记：马尔科夫链介绍及基于Python的蒙特卡洛仿真.pdfVIP

强化学习笔记 ：马尔科夫链介绍及基于Python的蒙特卡洛仿真 ⽬录 0. 前前⾔⾔ 0.1 马马尔尔可可夫夫性性 ⽽⾔之，所谓马尔可夫性(Markov Property)是指系统的下⼀个状态 仅与当前状态 有关，⽽与以前的状态⽆关。 马尔可夫性的⼀个更通俗的说法是⽆记忆性(memorylessness)，即系统不记得当前状态以前的状态，仅仅基于当前状态来决定下⼀ 个时刻转移到什么状态。 0.2 马马尔尔科科夫夫链链 马尔可夫链 （Markov Chain, MC）是具有马尔可夫性 （Markov property）的随机过程 （stochastic process）,⼜称马尔可夫(随 机)过程。 如果指标集(index set)是连续的，则称为连续时间马尔可夫链 （Continuous-Time MC, CTMC） ；如果指标集是离散的，则称为离 散时间马尔可夫链 （Discrete-Time MC, DTMC）。注意，这⾥ ‘时间’应该以⼴义的⽅式理解。时间是指标(index)的⼀种，但是的确是 最常⽤的⼀种。因此，⼈们通常以时间作为⼴义的index的代名词。 通常情况下，我们碰到的都是DTMC，并且常常就 称为马尔科夫链。所以，当没有特别指明的情况，说起马尔科夫链的话通常就是 指DTMC。 马尔可夫链可通过转移矩阵和转移图定义，除马尔可夫性外，马尔可夫链可能具有不可约性、常返性、周期性和遍历性。⼀个不可约 和正常返的马尔可夫链是严格平稳的马尔可夫链，拥有唯⼀的平稳分布。遍历马尔可夫链 （ergodic MC）的极限分布收敛于其平稳分布。 0.3 马马尔尔科科夫夫链链有有什什么么⽤⽤？？ 马尔可夫链可被应⽤于蒙特卡罗⽅法中，形成马尔可夫链蒙特卡罗 （Markov Chain Monte Carlo, MCMC），也被⽤于经济学、博弈论、 通信理论、⾦融、动⼒系统、化学反应、排队论、市场⾏为和信息检索的数学建模。此外作为结构最 单的马尔可夫模型 （Markov model），⼀些机器学习算法，例如隐马尔可夫模型 （Hidden Markov Model, HMM）、马尔可夫随机场 （Markov Random Field, MRF）和马尔可夫决策过程 （Markov decision process, MDP）以马尔可夫链为理论基础。 Markov Chains have prolific usage in mathematics. They are widely employed in economics, game theory, communication theory, genetics and finance. They arise broadly in statistical specially Bayesian statistics and information-theoretical contexts. When it comes real-world problems, they are used to postulate solutions to study cruise control systems in motor vehicles, queues or lines of customers arriving at an airport, exchange rates of currencies, etc. The algorithm known as PageRank, which was originally proposed for the internet search engine Google, is based on a Markov process. Reddits Subreddit Simulator is a fully-automated subreddit that generates random submissions and comments using markov chains, so cool! 马尔可夫链的命名来 ⾃俄国数学家安德雷 ·马尔可夫 （А ндрей А ндреевич М арков）以纪念其⾸次提出马尔可夫 链和对其收敛性质所做的研究[2]。 1. 离离散散时时间间马马尔尔科科夫夫链链(DTMC) 如前所述，DTMC