随机过程与-2马尔可夫过程 .ppt

马尔可夫过程 第四章 马尔可夫链 马尔可夫链是最简明的马尔可夫过程, 它是状态、时 间都是离散量的马尔可夫过程. 马尔可夫过程是随机过程中历史最悠久且充满活力的 一类随机过程.自20世纪初俄罗斯数学家A.A.MapkoB等人 开始研究马尔可夫过程以来,可以说久盛不衰. 它有极为 深厚的理论基础,如拓扑学、函数论、泛函分析、近世代 数和几何学; 又有广泛的应用空间,如近代物理、随机分 形、公共事业中的服务系统、电子信息、计算机技术等. 自然界很多现象遵从这样的演变规则:由时刻t0系统或 过程所处的状态(现在)可以决定系统或过程在时刻t＞t0 所处的状态(将来),而无需借助于t0以前系统或过程所处 状态(过去)的历史资料. 如微分方程初值问题即属于此. 马尔可夫链的概念及转移概率 4.1 马尔可夫链的概念及转移概率 1.马尔可夫链的定义 设随机过程{Xn,n∈T}的参数集T={0,1,2,…},Xn可能 取值的全体组成的状态空间为I={i1,i2,i3,…}. 定义4.1 设有随机过程{Xn,n∈T},若对于任意的整数n∈ T和任意的i0,i1,…,in+1∈I,条件概率满足 P{Xn+1=in+1|X0=i0,X1=i1,…,Xn=in} =P{Xn+1=in+1|Xn=in} (4.1) 则称{Xn,n∈T}为马尔可夫链,简称马氏链. (4.1)是马尔可夫链的马氏性(也称无后效性)的数学表达 式. 利用积事件的概率及上述定义知: 马尔可夫链的概念及转移概率 P{X0=i0,X1=i1,…,Xn=in} =P{Xn=in|X0=i0,X1=i1,…,Xn-1=in-1}P{X0=i0,X1=i1,…, Xn-1=in-1} =P{Xn=in|Xn-1=in-1}P{X0=i0,X1=i1,…,Xn-1=in-1} =… =P{Xn=in|Xn-1=in-1}P{Xn-1=in-1|Xn-2=in-2}…P{X1=i1| X0=i0}P{X0=i0}. 即马尔可夫链的统计特性完全由条件概率 P{Xn+1=in+1|Xn=in} 所决定. 如何确定这个条件概率,是马尔可夫链理论和应 用中的重要问题之一. 马尔可夫链的概念及转移概率 2.转移概率 条件概率P{Xn+1=j|Xn=i}的直观含义是:系统在时刻n处 于状态i的条件下,在时刻n+1系统处于状态j的概率.这相 当于随机游动的质点在时刻n处于状态i的条件下,下一步 转移到状态j的概率. 记此条件概率为pij(n),其严格定义 是: 定义4.2 称条件概率 pij(n)=P{Xn+1=j|Xn=i} 为马尔可夫链{Xn,n∈T}在时刻n的一步转移概率,简称 为转移概率,其中i,j∈I. 一般, 转移概率pij(n)不仅与状态i,j有关,而且与时刻 n有关.当pij(n)不依赖时刻n时,表示马尔可夫链具有平稳 马尔可夫链的概念及转移概率 转移概率. 定义4.3 若对任意的i,j∈I, 马尔可夫链{Xn,n∈T}的转 移概率pij(n)与时间n无关,则称马尔可夫链是齐次的, (亦称是时齐的,即具有平稳转移概率)并记pij(n)为pij. 下面只讨论齐次马尔可夫链,并将齐次两字省略. 设P为一步转移概率pij所组成的矩阵,状态空间I={1,2, …},则 P= 称为系统状态的一步转移概率矩阵. 一步转移概率矩阵具有性质: 马尔可夫链的概念及转移概率 (1) pij≥0, i,j∈I; (2) pij=1, i∈I. (2)式中对j求和,是对状态空间I的所有可能状态进行的, 此性质说明一步转移概率矩阵中任一行元素之和为1. 通 常称满足(1)、(2)性质的矩阵为随机矩阵. 为进一步讨论马尔可夫链的统计性质, 还须了解n步转 移概率,初始概率和绝对概率的概念. 定义4.4 称条件概率 pij(n)=P{Xm+n=j|Xm=i},i,j∈I,m≥0,n≥1 为马尔可夫链{Xn,n∈T}的n步转移概率,并称 P(n)=(pij(n)) 为马尔可夫链的n步转移矩阵,其中pij(n)≥0, pij(n)= 马尔可夫链的概念及转移概率 1,即P(n)也是随机矩阵. 当n=1时,pij(1)=pij,此时一步转移矩阵P(1)=P. 此外规 定pij(0)=