(概率统章节教案）第十三章马尔可夫链第一节第二节(上).doc

第十三章 马尔可夫链 马尔可夫过程是一类特殊的随机过程, 马尔可夫链是离散状态的马尔可夫过程,最初是由俄国数学家马尔可夫1896年提出和研究的. 应用十分广泛,其应用领域涉及计算机,通信,自动控制,随机服务,可靠性,生物学,经济,管理,教育,气象,物理,化学等等. 马尔可夫链的定义 设随机过程的状态空间是有限集或可列集, 对任意正整数,对于内任意个参数和内任意 个状态, 我们需要知道 而 这就归结为求形如 的条件概率。在何种条件下这类条件概率容易算出来？ 一．定义 定义1 设随机过程的状态空间是有限集或可列集, 如果对任意正整数,对于内任意个参数和内任意 个状态, 条件概率 ,(13.1) 恒成立,则称此过程为马尔可夫链. 式(13.1)称为马尔可夫性,或称无后效性. 显然，若随机过程的状态空间是有限集或可列集, 且是独立过程， 则是马尔可夫链 。 马氏性的直观含义可以解释如下: 将看作为现在时刻,那末,就是过去时刻,而则是将来时刻.于是,(13.1)式是说,当已知系统现时情况的条件下,系统将来的发展变化与系统的过去无关.我们称之为无后效性. 许多实际问题都具有这种无后效性. 例如 生物基因遗传从这一代到下一代的转移中仅依赖于这一代而与以往各代无关. 再如,每当评估一个复杂的计算机系统的性能时,就要充分利用系统在各个时刻的状态演变所具有的通常概率特性:即系统下一个将到达的状态,仅依赖于目前所处的状态,而与以往处过的状态无关. 此外,诸如某公司的经营状况等等也常常具有或近似具有无后效性. 马尔可夫链的分类 状态空间是离散的(有限集或可列集),参数集可为离散或连续的两类. 三．离散参数马尔可夫链 （1）转移概率 定义2 在离散参数马尔可夫链 中, 条件概率 称为在时刻(参数)由状态一步转移到状态的一步转移概率, 简称转移概率. 条件概率 称为在时刻(参数)由状态经步转移到状态的步转移概率. (2)转移概率的性质:对于状态空间内的任意两个状态和,恒有 (1) ; (2), ( ) 四.离散参数齐次马尔可夫链 定义3 在离散参数马尔可夫链中,如果一步转移概率不依赖于参数,即对任意两个不等的参数和,,有 则称此马尔可夫链具有齐次性或时齐性,称为离散参数齐次马尔可夫链. Bernoulli序列是离散参数齐次马尔可夫链. 验证 在Bernoulli序列中, 对任意正整数 , , 相互独立, 故对 ,有 即满足马尔可夫性,且 , 不依赖于参数,满足齐次性. 故Bernoulli序列是离散参数齐次马尔可夫链. 例2 爱伦菲斯特(Ehrenfest)模型 一容器中有个粒子在作随机运动.设想有一实际不存在的界面把容器分为左右容积相等的两部分.当右边粒子多于左边时,粒子向左边运动的概率要大一些,大出部分与两边粒子的差数成正比;反之,当右边粒子少于左边时,粒子向右边运动的概率要大一些. 以表示次变化后,右边粒子数与均分数之差,则状态空间, 转移概率 ， 则是齐次马尔可夫链. 参数离散的 齐次马尔可夫链 对于离散参数齐次马尔可夫链,本节讨论以下四个问题. 转移概率矩阵 设 是齐次马尔可夫链, 由于状态空间是离散的(有限集或可列集)，不妨设其状态空间 . 则对内的任意两个状态和,由转移概率 排序一个矩阵 称为(一步)转移概率矩阵 . 转移概率矩阵的性质： (1) ,即元素均非负; (2) ,即每行和为1. 具有以上两个特点的方阵称为随机矩阵. 转移概率矩阵就是一个随机矩阵. 例1 Bernoulli序列的状态空间, 转移概率矩阵 , . 一维随机游动 一个质点在直线上的五个位置:0,1,2,3,4之上随机游动.当它处在位置1或2或3时,以的概率向左移动一步而以的概率向右移动一步;当它到达位置时,以概率1返回位置1;当它到达位置4时以概率1停留在该位置上(称位置0为反射壁,称位置4为吸收壁). 以表示时刻质点处于位置,, 则是齐次马尔可夫链.其状态空间,状态0是反射状态,状态4是吸收状态.其转移概率矩阵 分别以； ； ； ； 按题设条件求出转移概率 画出状态转移示意图如图 例3（成功流） 设在一串贝努里试验中,每次试验成功的概率为, 令 则是齐次马尔可夫链.其状态空间, 其转移概率 ,, ， , （） 于是转移概率矩阵 切普曼-柯尔莫哥洛夫方程 定理一 设 是马尔可夫链,则有 , (13.6) 称为切普曼-柯尔莫哥洛夫方程. 证 由条件概率定义计算公式,利用全概率公式和马氏条件,得 证毕. 如果马尔可夫链具有齐次性,那么切普曼-柯尔莫哥洛夫方程化为