第2篇 马尔可夫链.pptVIP

CHAPTER 2 马尔可夫链;离散;定义 ;我们来看马尔可夫链的分布;4、马尔可夫链的例子;Xn-----第n个顾客走后剩下的顾客数， Yn -----第n+1个顾客接受服务期间来到的顾客数，则;例3 G / M /1排队系统 来到时间间隔分布为G，服务时间分布为指数分布，参数为 ，且与顾客到达过程独立。; pi0公式略有不同，它是服务台由有i个顾客转为空闲的 概率，;例4 直线上的随机游动 （1）无限制的随机游动 设有一质点在数轴上随机游动，每隔一单位时间移动一次，每次只能向左或向右移动一单位，或原地不动。设质点在0时刻的位置为a,向右移动的概率为p，向左移动的概率为q，原地不动的概率为r(p+q+r=1),且各次移动相互独立，以Xn表示质点经n次移动后所处的位置，则{Xn,n≥0}是一马尔可夫链,转移概率为 Pi,i+1=p, Pi,i-1=q, Pi,i=r, 其余Pi,j=0 （2）带吸收壁的随机游动 设（1）中的随机游动限制在S={0,1,2, …b}，当质点移动到状态0或b后就永远停留在该位置，即p00=1, pbb=1，其余pij(1≤i,j ≤b-1)同（1），这时{Xn,n≥0}称为带两个吸收壁0和b的随机游动 ，它是一有限状态马尔可夫链。;例5 Polya（波利亚）模型; 下面的定理提供了一个非常有用的获得马尔可夫链的方法，并可用于检验一随机过程是否为马尔可夫链。 定理：设随机过程{Xn,n≥0}满足 （1） Xn=f(Xn-1,Yn),(n ≥1), 其中f:S× S→ S,且Yn取值在S上， （2） {Yn,n≥1}为独立同分布随机变量，且X0与{Yn,n≥1}也相互独立，则{Xn,n≥0}是马尔可夫链，其一步转移概率为 pij=P[f(i,Y1)=j] 证明：设n≥1 ，则Yn+1与X0, X1, …, Xn相互独立，事实上，;所以{Xn,n≥0}是马尔可夫链，且;二、切普曼-柯尔莫哥洛夫方程;为马尔可夫链{Xn,n≥0}的n步转移概率。记; 类似地可以证明马尔可夫链任意个时刻的联合分布也 完全由一步转移概率矩阵及初始分布向量决定。;3、定理：切普曼-柯尔莫哥洛夫方程（C-K方程）;证明：;例（马尔可夫预测）P82 解 一阶转移矩阵为;则;例;解;（2）二步转移概率矩阵;（3）;第二节 状态的分类及性质 ;定义2：若集合;因为d(i)是i的周期，所以d(i)应同时整除n+m和n+m+s，则d(i)一定整除s，而d(j)是j的周期，所以d(i)整除d(j)。 反过来??可证明d(j)整除d(i)，于是d(i)= d(j)。;定义4：首达概率定义为;定义7: 若i为常返状态，即 fii=1, 记;定理： 与 有如下关系;定理：状态 i 是常返状态，当且仅当;的含义; 若状态i是滑过的（非常返的）则;所以， 相互控制，同为无穷或有限，从而同 为常返或非常返。; 以Nj(t)记到时刻t为止转移到j的次数。若j是常返的，且 X0=j，则因为一旦转移到j，过程在概率上重新从头开始，故 {Nj(t),t≥0}是一个来到时间间隔分布为 的更新过程。 若X0=i ， ，且j是常返的，则{Nj(t),t≥0}是一个延迟 更新过程，其初始来到时间间隔分布为 。;例 考虑直线上无限制的随机游动，状态空间为;注意到;例;从图可知，此链的每一状态都可到达另一状态，即4个状态都是相通的。;类似地可求得;例;类似地可证;由定义知状态0为常返态。;第三节 极限定理及平稳分布;则;定理：若i与j相通，则;推论：如i是常返的，则i为零常返的充要条件是;推论：有限状态的马尔可夫链，不可能全为非常返状态，也不可能有零常返状态。从而不可约的有限马尔可夫链的状态全为正常返的。;状态性质判别法;二、平稳分布与极限分布;则平稳分布可表示为如下矩阵形式;2，定义：若马尔可夫链是遍历的（即所有状态相通且均为 周期为1的正常返态），则极限;因而不存在平稳分布。 2，状态全是正常返态。即;利用C-K方程;从而;注：1，对于不可约的遍历链（不可约、正常返、周期为1） 因为;例;从图可知，对任一状态 都有 ，;例;解;并作出状态传递图;（2）可以利用定理证明遍历性;解之得;（4）;讨论对时间连续状态离散的马尔可夫过程，取时间参数 ，状