马尔科夫链及状态分类.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 类似地可求得 所以 于是状态1是常返的。 又因为 所以状态1是正常返的。 由定理可知，此链所有状态都是正常返的。 例4 设马氏链的状态空间S={0,1,2,…}，其一步转移概率为 其中 试证此马氏链是一个不可约常返态链 证 先证S不可约 设i，j是I中任意两个状态， 则有 类似地可证 所以 即I中任意两个状态都是相通的。 因此，S是一个不可约的闭集 再证S中状态0是一个常返态： 由状态的转移规则，得 所以 由定义知状态0为常返态。 因此，由定理知S中所有状态都是常返态。 故此马氏链为不可约常返链。 三、状态的周期与遍历 1．周期状态 对于任意的 ，令 其中GCD表示最大公约数 则称 为周期态， 则称 为非周期态。 定理12 证 所以存在正整数m、n，使 则有 则有 因此有 类似地可证得 故 （2） 所以 从而i为非周期态。 又因为马氏链不可约， 所以j也是非周期态， 从而该马氏链是非周期链。 2．遍历状态 若状态i是正常返且非周期，则称i为遍历状态。 例5 设马氏链的状态空间S = {0,1,2,…}，转移概率为 试讨论各状态的遍历性。 解 根据转移概率作出状态传递图 … 1/2 1/2 1/2 1/2 1/2 1/2 0 1 2 1/2 图3---4 3 1/2 从图可知，对任一状态 都有 ， 故由定理可知，S中的所以状态都是相通的， 因此只需考虑状态0是否正常返即可。 … 故 从而0是常返态。 又因为 所以状态0为正常返。 又由于 故状态0为非周期的 从而状态0是遍历的。 故所有状态i都是遍历的。 习题课 1．带有两个反射壁的随机游动 如果状态空间S = {0，1，2，…，m}，移动的规则是： （1）若移动前在0处，则下一步以概率p向右移动一个单位，以概率q停留在原处（p+q=1）； （2）若移动前在m处，则下一步以概率q向左移动一个单位，以概率p停留在原处； （3）若移动前在其它点处，则均以概率p向右移动一个单位，以概率q向左移动一个单位。 设 表示在时刻n质点的位置，则{ ， }是一个齐次马氏链，写出其一步转移概率矩阵。 q p 右反射壁 m-1 m p q 左反射壁 1 2 0 2．带有反射壁的随机游动 设随机游动的状态空间S = {0，1，2，…}，移动的规则是： （1）若移动前在0处，则下一步以概率p向右移动一个单位，以概率q停留在原处（p+q=1）； （2）若移动前在其它点处，则均以概率p向右移动一个单位，以概率q向左移动一个单位。 设 表示在时刻n质点的位置，则{ ， }是一个齐次马氏链，写出其一步转移概率。 p q 反射壁 1 2 3 0 3．一个圆周上共有N格（按顺时针排列），一个质点在该圆周上作随机游动，移动的规则是：质点总是以概率p顺时针游动一格， 以概率 逆时针游动一格。试求转移概率矩阵。 4．一个质点在全直线的整数点上作随机游动，移动的规则是：以概率p从i移到i-1，以概率q从i移到i+1，以概率r停留在i，且 ，试求转移概率矩阵。 5．设袋中有a个球，球为黑色的或白色的，今随机地从袋中取一个球，然后放回一个不同颜色的球。若在袋里有k个白球，则称系统处于状态k，试用马尔可夫链描述这个模型（称为爱伦菲斯特模型），并求转移概率矩阵。 解 这是一个齐次马氏链，其状态空间为 S={—a，—a+1，…，—1，0，1，2，…，a} 一步转移矩阵是 1/3 1/2 1 1/3 1/2 1 1/3 1 2 3 4 6．设马氏链的状态空间S={1，2，3，4}，其一步转移矩阵为 解 试对其状态分类。 按一步转移概率，画出各状态间的传递图 它是有限状态的马氏链，故必有一个常返态，又链中四个状态都是互通的。因此，所有状态都是常返态，这是一个有限状态不可约的马氏链。 可继续讨论是否为正常返态 可讨论状态1 1/3 1/2 1 1/3 1/2 1 1/3 1 2 3 4 状态1是常返态 状态1是正常返态 所以，全部状态都是正常返态 7．设马氏链的状态空间S={1，2，3，4，5}，其一步转移矩阵为 试研究各状态的类及周期性 解 各状态间的传递图 对于任意 有，