第5章-马尔可夫链PPT课件.pptxVIP

精选PPT课件1应用随机过程主讲教师 段禅伦2011年秋季学期计算机学院研究生专业基础课程《应用数学基础》(Applied Stochastic processes)2023最新整理收集do something 精选PPT课件2第5章 马尔可夫链5.1 引言 本章,首先考察取有限个值或者可数个可能值的随机过程{Xn,n=0,1,2,…}.一般将这种随机过程的可能值的集合也记为{0,1,2,…}(即状态空间也是非负整数集). 如果Xn=i,那么称随机过程在时刻n在状态i. 设只要过程在状态i, 就有一个固定的概率pij,使它在下一个时刻在状态j. 我们有定义5.1.1若对于一切状态i0,i1,…,in-1,i,j与一切n≥0,有 P{Xn+1=j|Xn=i,Xn-1=in-1,…,X1=i1,X0=i0} =P{Xn+1=j|Xn=i} =pij 则称这样的随机过程称为马尔可夫链.并称由此式刻画的马尔 精选PPT课件3马尔可夫链可夫链的特性为Markov性,亦称“无后效性”.此性质说明: 要确定过程将来的状态, 知道它此刻的状态就足够了,并不需要对它以往状况的认识. 也就是说 对于一个马尔可夫链,在给定过去的状态X0,X1,…,Xn-1和现在的状态Xn时, 将来的状态Xn+1的条件分布独立于过去的状态而只依赖于现在的状态. pij表示过程处在状态i时, 下一次转移到状态j的概率.由于概率值非负且过程必须转移到某个状态,所以有 pij≥0, i,j≥0(即i,j∈I); pij=1, i=0,1,2,…(即i∈I)我们称P{Xn+1=j|Xn=i}=pij为Markov链{Xn,n=0,1,2,…}的一步转移概率,简称转移概率. (★) 精选PPT课件4马尔可夫链由Markov链定义知 P{X0=i0,X1=i1,…,Xn=in} =P{Xn=in|X0=i0,X1=i1,…,Xn-1=in-1}P{X0=i0,X1=i1,…, Xn-1=in-1} =P{Xn=in|Xn-1=in-1}P{X0=i0,X1=i1,…,Xn-1=in-1} =… =P{Xn=in|Xn-1=in-1}P{Xn-1=in-1|Xn-2=in-2}…P{X1=i1| X0=i0}P{X0=i0}可见一旦Markov链的初始分布P{X0=i0}给定,其统计特性就完全由条件概率 P{Xn=in|Xn-1=in-1}所决定. 精选PPT课件5马尔可夫链 如何确定这个条件概率,是Markov链理论和应用中的重要问题之一.一般情况下,转移概率pij与状态i,j和时间n有关. 当Markov链的转移概率P{Xn+1=j|Xn=i},只与状态i,j有关,而与n无关时,称Markov链为时齐的;否则,称为非时齐的. 我们只讨论时齐Markov链,并简称为Markov链. 当Markov链的状态为有限时,称为有限链; 否则称为无限链.但无论状态是有限还是无限,我们都可以将pij(i,j∈{0,1,2,…})排成一个矩阵的形式. 记为: P=(pij),它等于 p00 p01 p02 p03 …p10 p11 p12 p13 …… … … … …　…pi0 pi1 pi2 pi3 …… … … … … 精选PPT课件6马尔可夫链称P为转移概率矩阵,一般简称为转移矩阵. 转移概率矩阵具有性质(★). 称具有此性质的矩阵为随机矩阵(随机矩阵是非负实数矩阵且每一行元素的和为1).例5.1(天气预报) 假设明天下雨的机会只依赖于前一天的天气条件,即今天是否下雨,而不依赖过去的天气条件.且如果今天下雨,那么明天下雨的概率为α; 若今天没下雨,明天下雨的概率为β. 如果下雨,记过程在状态0;如果不下雨,记过程在状态1.如此,本例是一个两状态{0,1}的马尔可夫链,其转移概率矩阵是: P=(pij)= =p00 p01 p10 p11α 1-αβ 1-β 精选PPT课件7马尔可夫链例5.2(一个通讯系统) 考察一个传送数字0和1的通信系统.每个数字的传送必须经过几个阶段. 在每个阶段有一个概率p使进入的数字在离开时不改变.以Xn记第n个阶段进入的数字,则{Xn,n=0,1,2,…}是一个两个状态{0,1}的马尔可夫链,具有转移概率矩阵: P=例5.3(随机游动) 有一个醉汉在直线上做无限制的随机游动其状态i