马尔可夫过程课件.pptVIP

?一类随机过程（数学基础是随机过程理论）。 ?原始模型马尔可夫链，由俄国数学家A.A.马尔可夫于1907年提出。 ?该过程具有如下特性：在已知目前状态 （现在）的条件下，它未来的演变 （将来）不依赖于它以往的演变 ( 过去 ) 。 ④例如森林中动物头数的变化构成——马尔可夫过程 。在现实世界中，有很多过程都是马尔可夫过程，如液体中微粒所作的布朗运动、传染病受感染的人数、车站的候车人数等，都可视为马尔可夫过程。 马尔可夫过程简介 马尔可夫过程定义 ?马尔可夫特性 如果一个随机过程的概率分布函数具有以下特性 P{X(t) ≤xn| X(tn) = xn, X(tn-1) = xn-1, …, X(t0) = x0} = P{X(t) ≤ x| X(tn) = xn},t﹥tn﹥tn-1﹥...t0 则称该随机过程具有马尔可夫特性。 ?一个具有马尔可夫特性的随机过程被称为马尔可夫过程。 ?离散状态空间的马尔可夫过程也称为马尔可夫链。 值得指出的是，马尔可夫链既可以是连续时间的，也可以是离散时间的，它取决于系统参数的设定。 以离散时间的马尔可夫链为例，其定义为：设一个离散的随机序列Xn（n=1,2，....,N），若它满足 P{Xn+1=xn+1|Xn=xn，Xn-1=xn-1，...,X0=x0}=P{Xn+1=xn+1|Xn=