概率统计与随机过程13.1马尔可夫链1.ppt

四.平稳分布 如果一维分布 与 无关, 那么据 定义4 对于齐次马尔可夫链 如果 存在概率分布 满足 (13.12) 则称 为平稳分布,称 具有平稳性, 是平稳齐次马尔可夫链. (13.10) 作如下定义： * 改写成向量:平稳分布律要满足 定理： 如果齐次马尔可夫链 的初 始分布 是一个平稳 分布,则 并且有 * 改写成向量:平稳分布律要满足 定理： 如果齐次马尔可夫链 的初 始分布 是一个平稳 分布,则 并且有 * 例8 带一个反射壁的一维随机游动,以 表示 在时刻 粒子处于 状态,状态空间 转移概率 求平稳分布 * 并且有 * 作业 十三章： 6，7 ， 8 * * * 第十三章 马尔可夫链 马尔可夫过程是一类特殊的随机过程, 最初是由俄国数学家马尔可夫1896年 生物学,经济,管理,教育,气象物理,化学等等. 马尔可夫链 是离散状态的马尔可夫过程, 提出和研究的应用十分广泛,其应用领域涉 及计算机,通信,自动.控制,随机服务,可靠性, * 例：一维随机游动 一个质点在直线上的五个位置:0, 1, 2, 3, 4做随机 游动.当它处在位置1或2或3时,以的1/3概率向左移 动一步而以2/3的概率向右移动一步;当它到达位置 0时,以概率1返回位置1;当它到达位置4时以概率1停 留在该位置上(称位置0为反射壁,称位置4为吸收壁). * 0 1 2 3 4 1 2/3 2/3 2/3 1/3 1/3 1/3 1 * * 第一节: 马尔可夫链的定义 一．定义1 设随机过程 的状态空间 是 有限集或可列集, 对于 T 内任意n+1个 参数 和 内任意 个状态 如果条件概率 (13.1) * 恒成立,则称此过程为马尔可夫链. 式(13.1)称为马尔可夫性,或称无后效性. 马氏性的直观含义可以解释如下: 将 看作为现在时刻,那末 ,就是过去时 刻,而 则是将来时刻.于是, (13.1) 式是说,当已知 注： * 系统现时情况的条件下,系统将来的发展变化 与系统的过去无关.我们称之为无后效性. 许多实际问题都具有这种无后效性. 例如 生物基因遗传从这一代到下一代的 转移中仅依赖于这一代而与以往各代无关. * 二 马尔可夫链的分类 状态空间 是离散的(有限集或可列集), 参数集 可为离散或连续的两类. 三 离散参数马尔可夫链 （1）转移概率 定义2 在离散参数马尔可夫链 中,条件概率 称为 在 * 时刻(参数) 由状态 一步转移到状态 的一步转移 概率,简称转移概率. 条件概率 称为 在时 刻(参数) 由状态 经 步转移到状态 的 步 转移概率. * (2)转移概率的性质:对于状态空间 内的任意两个 状态 和 ,恒有 (1) (2) * 四. 离散参数齐次马尔可夫链 定义3 在离散参数马尔可夫链 中,如果一步转移概率 不依赖于参数 ,即 对任意两个不等的参数 和 , 有 则称此马尔可夫链具有齐次性或时齐性,称 为离散参数齐次马尔可夫链. * 例1： Bernoulli序列是离散参数齐次马尔可夫链. 第二节 参数离散的齐次马尔可夫链 对离散参数齐次马尔可夫链,本节讨论以下四个问题. 一 转移概率矩阵 设 是齐次马尔可夫链,由于状 态空间 是离散的(有限集或可列集),不妨设其状态 空间 . * 则对内的任意两个状态 和 ,由转移概率 排序 一个矩阵