概率统计及随机过程：第十三章 马尔可夫链.pptVIP

第十三章 马尔可夫链 马尔可夫过程是一类特殊的随机过程, 马尔可夫链 是离散状态的马尔可夫过程,最初是由俄国数学家马 尔可夫1896年提出和研究的. 应用十分广泛,其应用领域涉及计算机,通信,自动 控制,随机服务,可靠性,生物学,经济,管理,教育,气象, 物理,化学等等. 第一节: 马尔可夫链的定义 一．定义1 设随机过程 的状态空间 是 有限集或可列集,对任意正整数 对于内任意个 参数 和 内任意 个状态 如果条件概率 恒成立,则称此过程为马尔可夫链. (13.1) 式(13.1)称为马尔可夫性,或称无后效性. 马氏性的直观含义可以解释如下: 将 看作为现在时刻,那末 ,就是过去时 刻,而 则是将来时刻.于是, (13.1) 式是说,当已知 系统现时情况的条件下,系统将来的发展变化与系 统的过去无关.我们称之为无后效性. 许多实际问题都具有这种无后效性. 例如 生物基因遗传从这一代到下一代的转移中仅 依赖于这一代而与以往各代无关. 二：马尔可夫链的分类 状态空间 是离散的(有限集或可列集),参数集 可为离散或连续的两类. 三：离散参数马尔可夫链 （1）转移概率 定义2 在离散参数马尔可夫链 中,条件概率 称为 在 时刻(参数) 由状态 一步转移到状态 的一步转移 概率,简称转移概率. 条件概率 称为 在时 刻(参数) 由状态 经 步转移到状态 的 步 转移概率. (2)转移概率的性质:对于状态空间 内的任意两个 状态 和 ,恒有 (1) (2) 四.离散参数齐次马尔可夫链 定义3 在离散参数马尔可夫链 中,如果一步转移概率 不依赖于参数 ,即 对任意两个不等的参数 和 , 有 则称此马尔可夫链具有齐次性或时齐性,称 为离散参数齐次马尔可夫链. 例1： Bernoulli序列是离散参数齐次马尔可夫链. 第二节：参数离散的齐次马尔可夫链 对离散参数齐次马尔可夫链,本节讨论以下四个问题. 一：转移概率矩阵 设 是齐次马尔可夫链,由于状 态空间 是离散的(有限集或可列集),不妨设其状态 空间 . 则对内的任意两个状态 和 ,由转移概率 排序 一个矩阵 称为(一步)转移概率矩阵 转移概率矩阵的性质： (1) ,即元素均非负; (2) ,即每行和为1. 具有以上两个特点的方阵称为随机矩阵. 转移概率矩阵就是一个随机矩阵. 例1 Bernoulli序列的状态空间 ,转移概率矩阵 例2：一维随机游动 一个质点在直线上的五个位置:0,1,2,3,4之上随机 游动.当它处在位置1或2或3时,以的1/3概率向左移 动一步而以2/3的概率向右移动一步;当它到达位置 0时,以概率1返回位置1;当它到达位置4时以概率1停 留在该位置上(称位置0为反射壁,称位置4为吸收壁). 例3（成功流） 设在一串贝努里试验中,每次试验成功的概率为 , 令 则 是齐次马尔可夫链.求转移矩阵。 二：切普曼-柯尔莫哥洛夫方程 定理一 设 是马尔可夫链,则有 (13.6) 称为切普曼-柯尔莫哥洛夫方程. 如果马尔可夫链具有齐次性,那么切普曼-柯尔莫哥 洛夫方程化为 (13.7) 当时 ,得到 进一步改写为矩阵形式 其中 是两步转移概率矩阵, 是一步转移 用数学归纳法可得 (13.8) 式(13.8)表明:步转移概率矩阵 等于一步转 移概率矩阵 的 次幂.因此也常把 作为 步转移 概率矩阵的符号. 例4：在本节例2中,求 和 . 例5 传输数字0和1的通讯系统