数理统计与随机过程马尔科夫链.pptVIP

第十一章 马尔可夫链 * 数理统计与随机过程 第十一章 主讲教师：程维虎教授 北京工业大学应用数理学院 本章首先从随机过程在不同时刻状态之间的特殊的统计联系，引入马尔可夫(Markoff)过程的概念。然后，对马尔可夫链(状态、时间都是离散的马尔可夫过程)的两个基本问题，即转移概率的确定以及遍历性问题作不同程度的研究和介绍。 马尔可夫过程的理论在近代物理、生物学、管理科学、经济、信息处理以及数字计算方法等方面都有重要应用。 §11.1 马尔可夫过程及其概率分布 在物理学中，很多确定性现象遵从如下演变原则：由时刻t0系统或过程所处的状态，可以决定系统或过程在时刻t t0所处的状态，而无需借助于t0以前系统或过程所处状态的历史资料。如微分方程问题所描绘的物理过程就属于这类确定性现象。把上述原则延伸到随机现象，即当一物理系统或过程遵循的是某种统计规律时，可仿照上面的原则，引入以下的马尔可夫性或无后效性：过程(或系统)在时刻t0所处的状态为已知的条件下，过程在时刻tt0所处状态的条件分布与过程在t0之前所处的状态无关。通俗地说，就是在已经知道过程“现在”的条件下，其“将来”不依赖于“过去”。 现用分布函数来表述马尔可夫性.设随机过程{X(t), t ∈T}的状态空间为I。如果对时间t的任意n个数值t1t2 …tn, n≥3, ti ∈T，在条件X(ti)=xi,xi∈I,i=1,2, …,n-1下, X(tn)的条件分布函数恰等于在条件X(tn-1)=xn-1下X(tn)的条件分布函数 则称过程{X(t), t ∈T}具有马尔可夫性或无后效性，并称此过程为马尔可夫过程。 (1.1) 例1 设{X(t), t ≥0}是独立增量过程，且X(0)=0，证明{X(t), t ≥0}是一个马尔可夫过程。 证 由(1.1)式知，只要证明在已知X(tn-1)=xn-1的条件下X(tn)与X(tj),j=1,2, …,n-2相互独立即可。现由独立增量过程的定义知道，当0tjtn-1tn,j=1,2, …,n-2时，增量 X(tj)-X(0)与X(tn)-X(tn-1) 相互独立。根据条件X(0)=0和X(tn-1)=xn-1,即有 X(tj)与X(tn)-X(tn-1) 相互独立。 再由第三章§4定理知，此时X(tn)与X(tj)， j=1,2, …,n-2相互独立。这表明X(t)具有后无效性,即{X(t), t ≥0}是一个马尔可夫过程。 □ 由上例知，泊松过程是时间连续状态离散的马氏过程；维纳过程是时间状态都连续的马氏过程。 时间和状态都是离散的马尔可夫过程称为马尔可夫链，简称马氏链，记为{Xn=X(n), n =0,1,2, …}，它可以看作在时间集T1={0,1,2, …}上对离散状态的马氏过程相继观察的结果.我们约定记链的状态空间I={a1,a2, …},ai ∈R。在链的情形，马尔可夫性通常用条件分布律来表示，即对任意的正整数n,r和0≤t1t2 …trm；m,n ∈ T1，有 (1.2) 其中ai ∈I。记上式右端为Pij(m, m+n),我们称条件概率 Pij(m, m+n)=P{Xm+n= aj∣Xm = ai} 为马氏链在时刻m处于状态ai条件下，在时刻m+n转移到状态aj的转移概率。 (1.3) 由于链在时刻m从任何一状态ai出发，到另一时刻m+n，必然转移到a1, a2, …诸状态中的某一个，所以 (1.4) 由转移概率组成的矩阵P(m, m+n)=(Pij(m, m+n))称为马氏链的转移概率矩阵。由(1.4)式知，此矩阵的每一行元之和等于1。 当转移概率Pij(m, m+n)只与i,j及时间间距n有关时，把它记为Pij(n)，即 Pij(m, m+n)= Pij(n) 并称此转移概率具有平稳性。同时也称此链是齐次的或时齐的。以下我们限于讨论齐次马氏链。 在马氏链为齐次的情形下，由(1.3)式定义的转移概率 Pij(n)= P{Xm+n= aj∣Xm = ai} 称为马氏链的n步转移概率， P (n)= (Pij(n))为n步转移概率矩阵。在以下的讨论中特别重要的是一步转移概率 Pij=Pij(1)=P{Xm+1= aj∣Xm = ai} 或由它们组成的一步转移概率矩阵 在上述矩阵的左侧和上边标上状态a1, a2, …是为了显示Pij是由状态ai