第6讲第4章马尔科夫链(1).pptVIP

第四章 马尔可夫链 无后效性的过程称为马尔科夫过程。 (1)时间和状态都离散的马尔科夫过程称为马尔可夫链. (2)时间连续、状态离散的马尔科夫过程称为纯不连续的马尔科夫过程。 (3)时间和状态都连续的马尔科夫过程。 本章讨论马尔可夫链. 主要研究三类: 设随机序列 有 定义4.1: 则称 是一马尔可夫链. 设状态空间为I, 若对任意n及 一、马尔可夫链的定义和转移概率 §4.1 马尔科夫链定义及基本问题 马尔科夫链的无后效性描述为： 是一个最重要的问题。 条件概率： 显然，马尔可夫链的研究中， 一般情况下，转移概率不仅与i,j有关，还与n有关. 也称此马尔科夫链是齐次的或时齐的. 称 为系统在n时刻处于状态i的条件下，在n+1时刻处于状态j的转移概率 而当此概率与n无关时, 称转移概率具有平稳性. 本章以后讨论的马氏链都是齐次的. 设 是齐次马尔科夫链， 称为该Markov链的转移概率。 称为该该Markov链的转移概率矩阵。 所以，Markov的转移概率矩阵是随机矩阵。 由于Markov从任一状态i出发，下一步必停留在某一状态，所以有： ---符合上述条件的矩阵称为随机矩阵。 1 2 n-1 n 转移概率矩阵为： 例4.1 解 (简单信号模型)在某数字通讯系统中，只传输0、1两种信号，且传输要经过很多级.每级中由于噪声的存在会引起误传.假设每级输入0、1信号后，其输出不产生误传的概率分别为0.7、0.6 .记 为第 级的输出信号. 则 是状态有限的马尔科夫链，求其一步转移概率矩阵. 状态空间为 易知这是齐次 Markov链， 例4.2 游动的规则： 各以1/3的概率向左或向右移动一格, 或以1/3的概率留在原处；如果Q现在位于1(或5)这点上, 则下一时刻就以概率1移动到2(或4)这一点上. 如果Q现在位于点 i (1 i 5),则下一时刻 分析 所以 是齐马尔可夫链. 质点下一步所处的位置只与前一步所在位置有关，即 不依赖于 。 状态空间I={1，2，3，4，5}， P= 0 0 1/3 0 0 0 1 1/3 1/3 0 0 1/3 0 0 1/3 1/3 1/3 0 0 1 0 0 0 1/3 1/3 1 2 3 4 5 1 2 3 4 5 1和5这两点称为反射壁. 上面这种游动称为带有两个反射壁的随机游动. 转移概率矩阵为： 便得到相应链的转移概率矩阵： 若将游动的概率规则作如下变动: 质点1、2、3、4的游动规则不变; 质点一旦到了5点,便永远停在5点,游动结束。 P= 1 0 1/3 0 0 0 1 1/3 1/3 0 0 1/3 0 0 1/3 1/3 1/3 0 0 0 0 0 0 1/3 1/3 1 2 3 4 5 1 2 3 4 5 则只须把P 中第5行改为 （此时5点称为吸收壁）. 称状态 5 为吸收态。 吸收态是位于对角线上的概率1所对应的状态。 吸收态也是马尔科夫链研究的一个问题。 ---- 但是本教材对此不作过多讨论 例4.3 无限制随机游动 质点在数轴的整点上做随机游动，每次移动一格，向右移动概率为p，向左移动概率为q（p+q=1）， 表示质点在n时所处的位置，则 是一齐次马尔科夫链，写出一步和k步转移概率。 状态空间I={0,±1,±2,…} 解 例4. 生灭链 某种生物群体在n时刻的数量为 ，n时刻有 个数量时，到n+1时刻增加到 个数量的概率为 ，减少到 个数量的概率为 ，保持数量不变的概率为 。 状态空间I={0, 1，2,…} 转移概率 转移概率阵 则 是齐次马尔科夫链。 二、n步转移概率和C-K方程 称 为Markov链 的n步转移概率。 为n步转移概率矩阵。 显然，n步转移概率矩阵也是随机矩阵。 0步转移概率阵为： 特别规定： 显然，0步转移概率矩阵也随机矩阵。 0步转移概率为： 例4.5 无限制随机游动 质点在数轴的整点上做随机游动，每次移动一格，向右移动概率为p，向左移动概率为q（p+q=1）， 表示质点在n时所处的位置，则 是一齐次马尔科夫链，写出一步和k步转移概率。 状态空间I={0,±1,±2,…} 解 下面求 设质点自状态 向右移动 步，向左移动了 步，到达状态 ，则有 事实