三章节Markov过程教学教材.pptVIP

第三章 Markov过程;第一节 Markov链的定义和例子;定义3.2 设 为一离散时间Markov链。给定 在状态 时 处于 状态的条件概率 称为Markov链的一步转移概率，记作 。当这一概率与n无关时称该Markov链有平稳转移概率，并记之为 ，对应Markov链称为时齐Markov链。 记n步转移概率为 ，以 为元 的矩阵 记作 ，称为Markov链的n步转移概率矩阵。;定理3.1 Markov链的n步转移概率矩阵满足 ，在上式中我们定 。 例3.1（一维随机游动）设一质点在直线上的点集 上作随机游动，每秒钟发生一次游动，游动规则是：如果质点处于2，3，4点处，则在下一秒钟，质点均以的概率向左，右移动一单位或停留在原处；如果质点处于1处，则在下一秒钟以概率1移动到2处；如果质点处于5处，则在下一秒钟以概率1移动到4处．因为质点不可越出1，5两点，故称为不可越壁的随机游动．用 表示在时刻n质点的位置，则 是—个齐次马氏链． (1) 试写出它的一步转移矩阵和二步转移矩阵； (2) 若初始分布为 ，试求在时的绝对分布 ．;;解：时的绝对分布为 从而知接连发生两次地震后，建筑物完全倒塌的概率为 严重损害的概率为 中等以上损害的概率为： 例3.3 (0－l传输系统)一个通信传输系统，通过n个阶段传输数字0和1，设在每一个阶段被下一个阶段接受的数字仍与这—阶段相同的转移概率为 ，且记第n阶段被接受到的数为 则 是一个齐次马氏链，其一步转移概率矩阵为 (1)设 求系统经过二级传输后的传真率和四级传输后的误码率(输入和输出相同的概率为传真率，相反的情况称误码率)． (2)设 又设初始分布为 ，若己知系统经过n级传输后的输出为l，问原发信号也为l的概率为多少？;解 (1)由 可知系统二级传输后的传真率为： 系统四级传输后的误码率为： （2）根据贝叶斯公式，当已知系统经过n级传输后输出为1，原发信号也为1的概率为： ;第二节 Markov链的状态分类;例3.4 若Markov链有转移概率矩阵 则显见 和 是状态在??达意义下的 两个等价类。这个链是可约的。可以把 它分成两个链来研究。 定义3.4 状态 的周期．为Markov链的一个状态，使 的所有 的最大公约数称作是状态 的周期记作 ．如果对所有 ，都有 则约定周期为 ； 的状态 称为是非周期的． 由定义立即可知如 不能被周期 整除则必有 ． 例3.6 Markov链有状态o，1，2，3和转移概率阵 试求状态0的周期。;解：不难直接算出 而 。而 的最大公约数为2。所以 命题3.2 如果 则 命题3.3 如果状态 有周期 ，则存在整数 使得对所有的恒有 推论3.1 如果 ，则存在正整数 使得对 恒有 。 命题3.4 令 为不可约、非周期、有限状态Markov链的转移概率矩阵．则必存在 使得当 时n步转移概率阵 的所有元素都非零． 3.2.2 常返与瞬过 引入一个重要的概率 ，它表示从出发在n步转移时首次到达 的概率。即： 记 ，它是从 出发最终转入状态 的概率。;定义3.4 如果 我们称状态 是常返的，一个非常返状态就称为是瞬过的． 定理3.2 状态 常返的充分必要条件是 当然与此等价地有，状态 是瞬过的当且仅当 推论3.2 如果 是常返的，且 ，则 也是常返的 定义3.5 一个常返状态 当且仅当 时称为是零常返的．而当且仅当 时称为正常返的． 例3.7 设马氏链的状态空间为 ，其一步转移