随机过程2马尔可夫过程精品.ppt

第四章马尔可夫链 马尔可夫链是最简明的马尔可夫过程,它是状态、时 间都是离散量的马尔可夫过程 马尔可夫过程是随机过程中历史最悠久且充满活力的 类随机过程.自20世纪初俄罗斯数学家A.A. MapkoB等人 开始研究马尔可夫过程以来,可以说久盛不衰.它有极为 深厚的理论基础,如拓扑学、函数论、泛函分析、近世代 数和几何学;又有广泛的应用空间,如近代物理、随机分 形、公共事业中的服务系统、电子信息、计算机技术等 自然界很多现象遵从这样的演变规则:由时刻t系统或 过程所处的状态(现在)可以决定系统或过程在时刻tto 所处的状态(将来),而无需借助于t0以前系统或过程所处 状态(过去)的历史资料.如微分方程初值问题即属于此 马尔可夫链的概念及转移概率 4.1马尔可夫链的概念及转移概率 1.马尔可夫链的定义 设随机过程n,n∈T的参数集T=10,1,2,…},Xn可能 取值的全体组成的状态空间为=(、足的整数n∈ 定义4.1设有随机过程{n,n∈T,若对 T和任意的1,1,…,in1∈I,条件概率满足 P{xn+1=in+1|x0=i0,X1=1,…,Xn P(X+in+1X 则称{xa,n∈T为马尔可夫链,简称马氏链 4.1)是马尔可夫链的马氏性(也称无后效性)的数学表达 式 利用积事件的概率及上述定义知 马尔可夫链的概念及转移概率 PX=io, X,ri P〖X in-1 P(Xo=io, X 1 PIX-in=) io, X,i1, PX = iX PIX n-114n-2 七2}.P(x1=i 0)PX( 即马尔可夫链的统计特性完全由条件概率 P.n+1=in+IXn =i, 所决定,如何确定这个条件概率,是马尔可夫链理论和应 用中的重要问题之 马尔可夫链的概念及转移概率 2.转移概率 条件概率P(Xn+1=jX1设的直观含义是:系统在时刻n处 于状态i的条件下,在时刻n+1系统处于状态j的概率.这相 当于随机游动的质点在时刻n处于状态i的条件下,下一步 转移到状态j的概率.记此条件概率为p;(n,其严格定义 是: 定义4.2称条件概率 (n)=P{x+2|X2=i 为马尔可夫链{n,n∈T在时刻n的一步转移概率,简称 为转移概率,其中i,j∈Ⅰ. 一般,转移概率p;(a)不仅与状态i,j有关,而且与时刻 n有关.当p;()不依赖时刻n时,表示马尔可夫链具有平稳 马尔可夫链的概念及转移概率 转移概率 定义4.3若对任意的i,j∈I,马尔可夫链{n,n∈T的转 移概率p;(n)与时间n无关,则称马尔可夫链是齐次的, 亦称是时齐的,即具有平稳转移概率)并记D;()为p 下面只讨论齐次马尔可夫链,并将齐次两字省略 设P为一步转移概率p;所组成的矩阵,状态空间I={1,2, …},则 1n““ p21 p 称为系统状态的一步转移概率矩阵. 步转移概率矩阵具有性质: 马尔可夫链的概念及转移概率 1)p;0,i,j∈I; (2)∑p;=1,i∈I. (2)式中对j求和,是对状态空间的所有可能状态进行的, 此性质说明一步转移概率矩阵中任一行元素之和为1.通 常称满足(1)、(2)性质的矩阵为随机矩阵. 为进一步讨论马尔可夫链的统计性质,还须了解n步转 移概率,初始概率和绝对概率的概念. 定义4.4称条件概率 Pii (n=P(m+m=jl Xm=i), i,jEI,m0,n1 为马尔可夫链{n,n∈T}的n步转移概率,并称 Pa)=(p;) 为马尔可夫链的n步转移矩阵,其中P1;0,∑P; 马尔可夫链的概念及转移概率 1,即P也是随机矩阵 当n=1时,p;1=w此时一步转移矩阵P(1)=P.此外规 定p;02={0,子,(P0是单位矩阵) 例4.1(一维随机游动) 设一醉汉Q(即一随机游动的质点),在如右上图所示的 直线点集I={,2,3,4,5}作随机游动,并且仅仅在1秒,2秒 等时刻发生游动.游动的概率规则是:如果Q现在位于点 i(1i5),则下一时刻各以1/3的概率向左或向右移动 格,或以1/3的概率留在原处;如果Q现在位于点1(或5) 上,则下一时刻就以概率1移动到点2(或4)上.点1与5称为 反射壁.并称上述这种游动为带有两个反射壁的随机游动 若以X表示时刻n时Q的位置,不同的位置就是Xn的不同 马尔可夫链的概念及转移概率 状态,则{n,n=0,1,2,…}是一随机过程,状态空间就是I, 而且当X=i,∈I为已知时,X所处的状态的概率分布只 与Xn=有关,而与Q在时刻n以前,如何到达是完全无关的, 所以{Xn,n=0,1,2,}是一马氏链,而且还是齐次的.这 齐次马氏链的一步转移概率和一步转移概率矩阵分别为: 1/3,j=i-1,i,i+1,1i5, pP(n11x=2=1,1-,12或1=5,j=, 0,|j-i≥