马尔可夫过程讲解.pptVIP

* * * 续 * * §3 遍历性 考虑一个马尔可夫质点（即此质点运动时具有无后效性），它从任意状态i开始运动。问题是：经过步数充分大的运动之后，质点的极限状态是什么？在物理中，这是一个运动的渐近稳定性问题。 * * * 齐次马氏链在什么条件下才具有遍历性？如何求出 它的极限分布？ 有限链的遍历性的充分条件： * * 例1：一质点在1,2,3三个点上作随机游动，1和3是 两个反射壁，当质点处于2时，下一时刻处于1,2,3 是等可能的。写出一步转移概率矩阵，判断此链是 否具有遍历性，若有，求出极限分布。 * 例2：一质点在1,2,3三个点上作随机游动，1和3是 两个反射壁，当质点处于2时，下一时刻转移到1和3 的概率各为?。写出一步转移概率矩阵，判断此链是 否具有遍历性，若有，求出极限分布。 * 例3：一质点在1,2,3三个点上作随机游动，1和3是两个 吸收壁，当质点处于2时，下一时刻转移到1和3的 概率各为?。写出一步转移概率矩阵，判断此链是 否具有遍历性? 若有，求出极限分布。 * 例4：设有6个球(2个红球,4个白球)随机平分放入甲, 乙两个盒中.今每次从两盒中各任取一球并进行交换. 表示开始时甲盒中的红球数,Xn(n0)表示经n次交换 后甲盒中的红球数. (1)求此马氏链的初始分布; (2)求一步转移概率矩阵; (3)计算 ; (4)判断此链是否具有遍历性，若有，求出极限分布。 * * * * 关键词： 无后效性(马尔可夫性) 齐次马尔可夫链 n步转移概率 n步转移概率矩阵 C-K方程 马氏链的有限维分布律 遍历性 极限分布(平稳分布) 第三章 马尔可夫链 §3.1 马尔可夫过程及其概率分布 马尔可夫性(无后效性) 过程(或系统)在时刻t0所处的状态为已知的条件下，过程在时刻tt0所处状态的条件分布与过程在时刻t0之前所处的状态无关。 通俗地说，就是在已经知道过程“现在”的条件下，其“将来”不依赖于“过去”。 * 证毕！ 由上例知，泊松过程是时间连续状态离散的马氏过程， 维纳过程是时间状态都连续的马氏过程。 * * * * * * 时间和状态都离散的马尔可夫过程称为马尔可夫链， 简称马氏链，记为： {Xn=X(n),n=0,1,2,…},参数集T={0,1,2,…}， 记链的状态空间为： 马尔可夫链 * * 的状态 Xm Xm+1的状态 * 例5：(0-1传输系统) 如图所示，只传输数字0和1的串联系统中，设每一级的传真率为p，误码率为q=1-p。并设一个单位时间传输一级， X0是第一级的输入，Xn是第n级的输出(n≥1)，那么 {Xn,n=0,1,2…}是一随机过程，状态空间I={0,1}，而且当Xn=i为已知时，Xn+1所处的状态的概率分布只与Xn=i有关，而与时刻n以前所处的状态无关，所以它是一个马氏链，而且还是齐次的，它的一步转移概率和一步转移概率矩阵 分别为： … … n 2 1 X0 X1 X2 Xn Xn-1 * 例6：一维随机游动。设一醉汉Q(或看作一随机游动的 质点)在直线上的点集I={1,2,3,4,5}作随机游动， 且仅在1秒、2秒等时刻发生游动，游动的概率规则 是：如果Q现在位于点i(1i5)，则下一时刻各以 的概率向左或向右移动一格，或以 的概率 留在原处；如果Q现在处于1(或5)这一点上，则下 一时刻就以概率1 移动到2(或4)这点上，1和5这 两点称为反射壁，这种游动称为带有两个反射壁的 随机游动。以Xn表示时刻n时Q的位置， 说明{Xn,n= 0,1,2 …}是一齐次马氏链，并写出它的一步转移概 率矩阵。 1 3 4 5 2 * 解：以Xn表示时刻n时Q的位置，不同的位置就是Xn的不同 状态；而且当Xn=i为已知时，Xn+1所处的状态的概率分布 只与Xn=i有关，而与Q在时刻n以前如何到达i完全无关， 所以{Xn,n=0,1,2 …}是一马氏链，且是齐次的。 它的一步转移概率矩阵为： 1 3 4 5 2 如果把1这点改为吸收壁，即Q一旦到达1这一点， 则永远留在点1时，此时的转移概率矩阵为： * 例7：排队模型 设服务系统由一个服务员和只可以容纳两个人的等候