第四章马尔可夫链.doc

PAGE 第四章 马尔可夫链 随机过程在不同时刻下的状态之间一般具有某种关系，马尔可夫（ SKIPIF 1 0 ）过程就是描述一类状态之间具有某种特殊统计联系的随机过程. SKIPIF 1 0 过程在近代物理学、生物学、管理科学、信息处理与数字计算方法等领域都有重要的应用.按其状态和时间参数是连续的或离散的，它可分为三类：（1）时间、状态都是离散的 SKIPIF 1 0 过程，称为 SKIPIF 1 0 链；（2）时间连续、状态离散的 SKIPIF 1 0 过程，称为连续时间的 SKIPIF 1 0 链；（3）时间、状态都连续的 SKIPIF 1 0 过程.本章主要讨论 SKIPIF 1 0 链，有关连续时间的 SKIPIF 1 0 链的相关理论将在下章讨论. 4.1 马尔可夫链的概念和例子 独立随机试验模型最直接的推广就是 SKIPIF 1 0 链模型，早在1906年俄国数学家 SKIPIF 1 0 对它进行研究而得名，以后 SKIPIF 1 0 、 SKIPIF 1 0 、 SKIPIF 1 0 等数学家发展了这一理论. 4.1 .1 SKIPIF 1 0 链的定义 假设 SKIPIF 1 0 过程 SKIPIF 1 0 的参数集 SKIPIF 1 0 是离散时间集合，即 SKIPIF 1 0 ，相应 SKIPIF 1 0 可能取值的全体组成的状态空间是离散状态集 SKIPIF 1 0 . 定义 4.1 设有一随机过程 SKIPIF 1 0 ，若对于任意整数 SKIPIF 1 0 和任意 SKIPIF 1 0 ，条件概率满足 SKIPIF 1 0 则称 SKIPIF 1 0 为离散时间的 SKIPIF 1 0 链，简称 SKIPIF 1 0 链（ SKIPIF 1 0 SKIPIF 1 0 ）或马氏链. 从定义可以看出： SKIPIF 1 0 链具有 SKIPIF 1 0 性（即无后效性），如果把时刻 SKIPIF 1 0 看作现在，那么， SKIPIF 1 0 是将来的时刻，而 SKIPIF 1 0 是过去的时刻. SKIPIF 1 0 性表示在确切知道系统现在状态的条件下，系统将来的状况与过去的状况无关，而且 SKIPIF 1 0 链的统计特征完全由条件概率 SKIPIF 1 0 所决定. 因此，如何确定这个条件概率，是研究 SKIPIF 1 0 链理论和应用中十分重要的问题之一. 4.1.2 转移概率 定义 4.2 称条件概率 SKIPIF 1 0 （4.1） 为 SKIPIF 1 0 链 SKIPIF 1 0 在时刻 SKIPIF 1 0 的一步转移概率，其中 SKIPIF 1 0 ，简称转移概率（ SKIPIF 1 0 SKIPIF 1 0 ）. 一般地，转移概率 SKIPIF 1 0 不仅仅与状态 SKIPIF 1 0 有关，而且与时刻 SKIPIF 1 0 有关，如果 SKIPIF 1 0 不依赖时刻 SKIPIF 1 0 时，则称 SKIPIF 1 0 链具有平稳转移概率. 定义 4.3 若对任意 SKIPIF 1 0 ， SKIPIF 1 0 链 SKIPIF 1 0 的转移概率 SKIPIF 1 0 与 SKIPIF 1 0 无关，则称 SKIPIF 1 0