13第四章马尔可夫链.pptVIP

一个有限状态的马氏链,当满足 条件时,经过一段试验时间后,过程将到平稳(或平稳)状态,此后过程那一个状态的概率不再随时间而变化. (1) 解: 显然遍历 马尔可夫链的状态分类 周期、非周期 常返、非常返 其中，常返分为正常返、零常返 非周期的正常返称为遍历状态 到达和互通 设马尔可夫链的状态空间I={1,2,3,4,5,6,7,8,9}，状态转移图如下图 观察状态1 定义4.6 如集合{n: n≥1,pii(n)0}非空，则称该集合的最大公约数d=d(i)=G.C.D{n:pii(n)0}为状态i的周期。如d1就称i为周期的，如d=1就称i为非周期的。 由定义知,当n不能被d整除时,pii(n)=0 引理4.1 如i的周期为d，则存在正整数M，对一切n≥M，有pii(nd)0。 例题:设有4个状态的马尔可夫链,它的一步转移概率矩阵为: 画出其状态传递图,该过程是否具有周期性? 解: 所有状态周期为2 状态转移图 状态2和3具有相同的周期,但是状态2,3有区别.为此引入常返性的概念。 首中概率 它表示质点由i出发，经n步首次到达j 的概率，表示为 同时我们令 表示质点由i出发，经有限步终于到达j 的概率。 定义4.7 称状态i为常返的，如fii=1；称状态i为非常返的(滑过态)，如fii1。 对于常返态i，由定义知{fii(n),n≥1}构成一概率分布，此分布的期望值 表示由i出发再返回的i的平均返回时间。 定义4.8 如ui∞，则称常返态i为正常返的；如ui= ∞，则称常返态i为零常返的。 第四章 马尔可夫链 马尔可夫链定义 一步转移概率及多步转移概率 初始概率及绝对概率 Chapman-Kolmogorov（C-K）方程 遍历的马尔可夫链及平稳分布 马尔可夫链状态分类 时间、状态都是离散的马尔可夫过程，称为马尔可夫链。 例如：天气预报 质点的随机游动 例如：在某数字通信系统中传递0，1两种信号，且传递需要经过若干级。因为系统中有噪声，各级将造成错误，若某级输入0，1信号后，其输出不产生错误的概率为p，产生错误的概率为1-p，则该级的输入输出状态构成了一个两个状态的马氏链。 马尔可夫链定义 设有随机过程{Xn,n∈T}，若对于任意的整数n∈T和任意的i0,i1, …,in+1∈I，条件概率满足 则称{Xn,n∈T}为马尔可夫链，简称马氏链 将来的状态只与当前状态有关，与过去状态无关 为了描述马尔可夫链（n+1）维分布率，最重要的是条件概率P{Xn+1=in+1|Xn=in}. 它表示在时刻n取in值的条件下，下一时刻n+1取值为in+1的概率（一步转移概率） 定义4.2 称条件概率 为马尔可夫链{Xn,n∈T}在时刻n的一步转移概率，其中i,j∈I，简称转移概率。 定义4.3 若对任意的i,j∈I，马尔可夫链{Xn,n∈T}的转移概率与n无关，则称马尔可夫链是齐次马尔可夫链。我们只讨论齐次马氏链。 并将 记为 设P表示一步转移概率所组成的矩阵，则 称为系统状态的一步转移概率矩阵，它具有如下性质： 满足上述两个性质的矩阵成为随机矩阵 定义4.4 称条件概率 为马尔可夫链{Xn,n∈T}的n步转移概率，并称 为马尔可夫链的n步转移矩阵。规定 大家有疑问的，可以询问和交流 可以互相讨论下，但要小声点 例题 设马尔可夫链{Xn,n∈T}有状态空间I={0,1}，其一步转移概率矩阵为 求 和两步转移概率矩阵P(2) 解： 结论：n步转移矩阵 定理4.1 设{Xn,n∈T}为马尔可夫链，则对任意整数n≥0，0≤Ln和i,j∈I，n步转移概率具有下列性质： Chapman-Kolmogorov方程 （1）证明 设质点在数轴上移动，每次移动一格，向右移动的概率为p，向左移动的概率为q=1-p，这种运动称为无限制随机游动。以Xn表示时刻n质点所处的位置，则{Xn,n∈T}是一个齐次马尔可夫链，求一步和k步转移概率。 解：一步转移概率为： 例题：无限制随机游动 质点在数轴上移动，规律同上例。当质点一旦达到Xn = 0时， Xn+1就停留该0状态，这种状态称为吸收态。{Xn,n∈T}是一个齐次马尔可夫链，求一步转移概率。 解: 例题：带一个吸收壁的随机游动 质点在数轴上移动，规律同上例。随机游动的状态空间I={0,1,2…