10 马尔科夫链.pptVIP

定义中平稳性的直观含义是过程在任何时刻处于状态aj 的概率都相等。 事实上由 在定理的条件下，马氏链的极限分布就是平稳分布，且是唯一的。 设一马氏链的一步转移概率阵为 试讨论它的遍历性。 解 例10.8 表明 此链不具遍历性 . 一步转移概率为 例10.9 证明该链不是遍历的. 解：二步转移概率矩阵为 故P(n)=Pn 极限存在，但是， 与 i 有关， 故此链不是遍历的. 在直线上带有完全反射壁的随机游动, 如果质点只能取1, 2, 3三个点, 一步转移概率矩阵为 讨论它是否为遍历链。 解 二步转移概率矩阵 例5 三步转移概率矩阵 因此此链不是遍历链。 设齐次马氏链 的状态空间为I={0,1,2}, 初始分布为 ，且其一步转移概率 矩阵为 求： (1) P12(2); (2) P(X0=0, X2=2); (3) P(X2=2); (4) P(X0=0,X1=1,X2=2); (5) 证明此链是遍历的，并求其极限分布. 例10.10 参考答案： 一步转移概率为 例10.4 解 先求出二步转移概率矩阵 于是: 在0?1 传输系统中, 系统经 n 级传输后输出为 1, 问原发字符也是 1 的概率是多少? 例10.5 (2) 在(1)的条件下某步传输１，那么又接连两步都传输出１的概率是多少？ (1) 数字1经三步传输出1的概率是多少？ 解 以Xn表示第 n 步传输出的数字，则 {Xn,n≥0}是一齐次马氏链, 其状态空间为:I={0,1}。 一步转移矩阵为: 由此可求得二步及三步转移矩阵分别为: 从P(3) 中得到: 所以数字1经三步传输出1的概率为0.756。 (1) 数字1经三步传输出1的概率是多少？ (2) 在(1)的条件下某步传输１，那么又接连两步都传输出１的概率是 (4) 根据贝叶斯公式, 当系统经 n 级传输后输出为 1, 原发字符也是 1 的概率为: 先求出 n 步转移概率矩阵: 一步转移矩阵为: 有相异的特征值: 所以可将 P 表示成对角阵 所以 根据贝叶斯公式, 当系统经 n 级传输后输出为 1, 原发字符也是 1 的概率为: 说明 n步转移概率矩阵为 对于只有两个状态的马氏链, 一步转移概率矩阵一般可表示为: 10.4 遍历性 10.4.1 遍历性的概念 10.4.3 应用举例 10.4.2 (有限链)遍历性的充分条件 定义 则称此链具有遍历性. 10.4.1 遍历性的概念 意义 对固定的状态 j ,不管链在某一时刻的什么状态 i 出发, 通过长时间的转移到达状态 j 的概率都趋近于?j . 另外如果我们能用其他简便的方法直接由一步转移概率求得极限分布? ,则反过来，当n 很大时就可得到 n 步转移概率的近似值: 研究遍历性问题的中心是要确定在什么样的条件下马氏链才具有遍历性，以及如何求得?j ，这个问题已彻底解决. 问题 10.4.2 有限链马氏链遍历性的充分条件 定理给出了判别有限马氏链具有遍历性的一个简单充分条件，以及求?j 的方法。 2、求极限分布 ?j 可转化为求解方程组. 3、定理仅是充分条件，要想说明不具有遍历性，必须用定义。 设一马氏链的一步转移概率矩阵为 试讨论它的遍历性,并求出其极限分布。 例10.6 所以此链是遍历链。 解 设其极限分布为 可列出如下方程： 可得解为： 即 这说明, 当通信系统的级数无限增大时, 离开系统时的数字为 0 或 1 的概率是相同的, 这与原发概率大小无关。 特别地, 若当进入系统的数字是等可能的， 即马氏链的初始分布为p0(0)=p1(0)=1/2 时， 则系统在任何步取0或1的概率都为1/2 。 在前面例中，我们已得到了n 步转移矩阵为 这与用方程得出的结果是一致的。 这说明, 当通信系统的级数无限增大时, 离开系统时的数字为 0 或 1 的概率是相同的, 这与原发概率大小无关。 特别, 若当进入系统的数字是等可能的， 即马氏链的初始分布为p0(0)=p1(0)=1/2 时， 则系统在任何步取0或1的概率都为1/2 。 一步转移概率为 例10.7 试证明该链是遍历的，并求其极限分布. 解：二步转移概率矩阵为 P2 中无零元，故此链是遍历的. 在直线上带有反射壁的随机游动, 如果质点只能取1, 2, 3三个点, 一步转移概率矩阵为 讨论它是否为遍历链. 解 例10.8 所以此链是遍历链。 设其极限分布为 所以极限分布为 10.4.3