第四章 马尔可夫链.docVIP

第四章《马尔可夫链》 PAGE PAGE 29 第四章 马尔可夫链 随机过程在不同时刻下的状态之间一般具有某种关系，马尔可夫（）过程就是描述一类状态之间具有某种特殊统计联系的随机过程.过程在近代物理学、生物学、管理科学、信息处理与数字计算方法等领域都有重要的应用.按其状态和时间参数是连续的或离散的，它可分为三类：（1）时间、状态都是离散的过程，称为链；（2）时间连续、状态离散的过程，称为连续时间的链；（3）时间、状态都连续的过程.本章主要讨论链，有关连续时间的链的相关理论将在下章讨论. 4.1 马尔可夫链的概念和例子 独立随机试验模型最直接的推广就是链模型，早在1906年俄国数学家对它进行研究而得名，以后、、等数学家发展了这一理论. 4.1 .1 链的定义 假设过程的参数集是离散时间集合，即，相应可能取值的全体组成的状态空间是离散状态集. 定义 4.1 设有一随机过程，若对于任意整数和任意，条件概率满足 则称为离散时间的链，简称链（ ）或马氏链. 从定义可以看出：链具有性（即无后效性），如果把时刻看作现在，那么，是将来的时刻，而是过去的时刻.性表示在确切知道系统现在状态的条件下，系统将来的状况与过去的状况无关，而且链的统计特征完全由条件概率所决定. 因此，如何确定这个条件概率，是研究链理论和应用中十分重要的问题之一. 4.1.2 转移概率 定义 4.2 称条件概率 （4.1） 为链在时刻的一步转移概率，其中，简称转移概率（ ）. 一般地，转移概率不仅仅与状态有关，而且与时刻有关，如果不依赖时刻时，则称链具有平稳转移概率. 定义 4.3 若对任意，链的转移概率与无关，则称链是齐次的（或称时齐的）（），并记为. 下面只讨论齐次链，并且通常将“齐次”两字省去. 定义 4.4 设表示一步转移概率所组成的矩阵，且状态空间，则 称为系统状态的一步转移概率矩阵（ ），它具有性质： （1）； （2）. （2）式说明一步转移概率矩阵中任一行元素之和为1，通常称满足性质（1）（2）的矩阵为随机矩阵. 定义 4.5 称条件概率 （4.2） 为链的步转移概率，并称为链的步转移矩阵.其中，即也是一个随机矩阵. 特别地，当时，，此时，一步转移矩阵. 我们还规定 链步转移概率满足重要的方程（简称方程）。 定理 4.1 设为链，则对于任意整数和 （4.3） 证明 利用全概率公式和性 方程的直观概率意义在于：要想由状态经过步到达状态,需先经过步到达状态，再经过步由状态转移到状态上去. 方程可以用矩阵表示为 由方程可以得到 由递推法可以得到 初始分布和绝对分布 定义 4.6 链初始时刻取各状态的概率 （4.4） 称为的初始概率分布（ ），简称初始分布. 定义 4.7 链在时刻取各状态的概率 （4.5） 称为在时刻的绝对概率分布（ ），简称绝对分布. 显然，当时的绝对分布即为初始分布，这里绝对概率是与转移概率相对而言的，转移概率都是条件概率，这里的概率没有条件，故称为绝对概率. 称为时刻的绝对概率向量，称为初始概率向量. 定理4.2 设为链，则对于任意和，绝对概率具有下面的性质： （1）； （4.6） （2） （4.7） 证明 （1） （2） （4.6）式表明时刻的绝对概率分布完全由初始分布和步转移概率所确定，（4.7）式表明时刻的绝对概率分布完全由时刻的绝对概率分布和一步转移概率所确定. 更一般地，链的有限维分布完全由初始分布和一步转移概率所确定. 定理4.3 设为链，则对于任意和，有 （4.8） 证明 利用全概率公式和性 （性） . 4.1.4 链的一些简单例子 例4.1 直线上无限制的随机游动（ ） 考虑在直线作随机运动的质点，每次移动一格，向右移动的概率为，向左移动的概率为，这种运动称为无限制随机游动，以表示时刻质点所处的位置，则是一个齐次链，写出它的一步和步转移概率. 解 的状态空间，