数理统计与随机过程ch().pptVIP

第十一章 马尔可夫链 * 数理统计与随机过程 第十一章 北京工业大学应用数理学院 马尔可夫 (Markoff) 过程理论在近代物理、生物学、管理科学、经济、信息处理以及数字计算方法等方面都有重要应用。 本章首先从随机过程在不同时刻状态之间的特殊的统计联系，引入马尔可夫过程的概念。然后，对马尔可夫链(状态、时间都是离散的)的两个基本问题，即转移概率的确定及遍历性问题作介绍。 §11.1 马尔可夫过程及其概率分布 在物理学中，很多确定性现象遵从如下演变原则：由时刻 t0 系统(或过程)所处的状态，可以决定系统(或过程)在时刻 t t0 所处的状态，而无需借助于 t0以前系统(或过程)所处状态的历史资料。如: 微分方程问题所描绘的物理过程就属于这类问题。 这是对确定性现象而言的，将其延伸到随机性现象。 当一物理系统(或过程)遵循的是某种统计规律时，可仿照上面的原则，引入以下的马尔可夫性或无后效性：过程(或系统)在时刻 t0 所处的状态为已知的条件下，过程在时刻 tt0 所处状态的条件分布与过程在 t0 之前所处的状态无关。 通俗地说，就是在已经知道过程(或系统)“现在状态”的条件下，其“将来状态”的概率不依赖于“过去状态”。 设随机过程{X(t), t ∈T}的状态空间为I。如果对时间 t 的任意n个取值 t1t2 …tn, n≥3, ti ∈T，在条件X(ti)=xi, xi∈I, i=1,2, …, n-1下, X(tn)的条件分布函数等于在条件X(tn-1)=xn-1下X(tn)的条件分布函数，即 则称过程{X(t), t ∈T}具有马尔可夫性或无后效性，称此过程为马尔可夫过程。 例1: 设{X(t), t ≥0}是独立增量过程，且X(0)=0,试证 {X(t), t ≥0}是马尔可夫过程。 证: 由(1.1)式知，只要证明在已知X(tn-1)=xn-1的条件下X(tn)与X(tj), j=1, 2, …, n-2相互独立即可。 由独立增量过程的定义知：当 0tjtn-1tn, j=1, 2, …, n-2时，增量 X(tj)-X(0) 与 X(tn)-X(tn-1) 相互独立。 根据X(0)=0和X(tn-1)=xn-1, 有 X(tj) 与 X(tn)-X(tn-1) 相互独立。 再由第三章§4定理知，此时X(tn)与X(tj)， j=1, 2, …, n-2相互独立。这表明：X(t)具有后无效性，即{X(t), t ≥0}是一个马尔可夫过程。 由上例知，泊松过程是时间连续状态离散的马氏过程；维纳过程是时间状态都连续的马氏过程。 时间和状态都离散的马尔可夫过程称为马尔可夫链，简称马氏链，记为{Xn=X(n), n =0, 1, 2, …}。它可以成时间集T1={0, 1, 2, …}上对离散状态的马氏过程相继观察的结果。我们约定，马氏链的状态空间为I={a1, a2, …}, ai ∈R。 其中ai ∈I。 记(1.2)式等号后的项为pij(m, m+n), 称条件概率 pij(m, m+n)=P{Xm+n= aj∣Xm = ai} (1.3) 为马氏链在时刻m处于状态ai条件下，在时刻m+n转移到状态aj的n步转移概率。 马氏链的马尔可夫性通常用条件概率分布或条件分布律来刻画，即对任意的正整数 n, r 和 0≤t1t2 …trm；m, n ∈ T1，有 由于链在时刻m从任何一状态ai出发，到另一时刻 m+n，必然转移到a1, a2, …状态中的某一个，故 由转移概率所组成的矩阵 P(m, m+n)=( pij(m, m+n) ) 称为马氏链的 n步转移概率矩阵。由(1.4)式知，矩阵的每一行元素之和都等于1。 当 n 步转移概率 pij(m, m+n) 只与i, j及时间间距 n 有关时，将其记成 pij(n)，即 pij(m, m+n)= pij(n) 并称此转移概率具有平稳性。同时也称马氏链是齐次的或时齐的。以下我们讨论齐次马氏链。 在马氏链为齐次情形下，记一步转移概率为 pij=pij(1)=P{Xm+1= aj∣Xm = ai} 一步转移概率矩阵为 在上述矩阵的左侧和上边标上状态a1, a2, …是为了显示Pij是由状态ai经一步转移到状