[概率统计和随机过程课件第十三章马尔可夫链.pptVIP

第十三章 马尔可夫链 马尔可夫过程是一类特殊的随机过程, 最初是由俄国数学家马尔可夫1896年 生物学,经济,管理,教育,气象物理,化学等等. 马尔可夫链 是离散状态的马尔可夫过程, 提出和研究的应用十分广泛,其应用领域涉 及计算机,通信,自动.控制,随机服务,可靠性, * Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 例：一维随机游动 一个质点在直线上的五个位置:0, 1, 2, 3, 4做随机 游动.当它处在位置1或2或3时,以的1/3概率向左移 动一步而以2/3的概率向右移动一步;当它到达位置 0时,以概率1返回位置1;当它到达位置4时以概率1停 留在该位置上(称位置0为反射壁,称位置4为吸收壁). * Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 0 1 2 3 4 1 2/3 2/3 2/3 1/3 1/3 1/3 1 * Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. * Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 第一节: 马尔可夫链的定义 一．定义1 设随机过程 的状态空间 是 有限集或可列集, 对于 T 内任意n+1个 参数 和 内任意 个状态 如果条件概率 (13.1) * Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 恒成立,则称此过程为马尔可夫链. 式(13.1)称为马尔可夫性,或称无后效性. 马氏性的直观含义可以解释如下: 将 看作为现在时刻,那末 ,就是过去时 刻,而 则是将来时刻.于是, (13.1) 式是说,当已知 注： * Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 系统现时情况的条件下,系统将来的发展变化 与系统的过去无关.我们称之为无后效性. 许多实际问题都具有这种无后效性. 例如 生物基因遗传从这一代到下一代的 转移中仅依赖于这一代而与以往各代无关. * Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 二 马尔可夫链的分类 状态空间 是离散的(有限集或可列集), 参数集 可为离散或连续的两类. 三 离散参数马尔可夫链 （1）转移概率 定义2 在离散参数马尔可夫链 中,条件概率 称为 在 * Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile 5.2.0.0. Copyright 2004-2011 Aspose Pty Ltd. 时刻(参数) 由状态 一步转移到状态 的一步转移 概率,简称转移概率. 条件概率 称为 在时 刻(参数) 由状态 经 步转移到状态 的 步 转移概率. * Evalu