随机过程 第四章1 四年级科学ppt课件教案 教科版.pptVIP

第四章 马尔可夫链 马尔可夫链定义 一步转移概率及多步转移概率 Chapman-Kolmogorov方程 初始概率及绝对概率 马尔可夫链状态分类 遍历的马尔可夫链及平稳分布 * * §4.1 马尔可夫链的概念及转移概率 一、马尔可夫链的概念 2、马氏链的转移概率 称条件概率 3、一步转移概率及矩阵 称为马氏链的一步转移概率矩阵 4.多步转移概率的确定 通常我们还规定： (2)、切普曼—柯尔莫哥洛夫方程 （Chapman-Kolmogorov） 直观解释对照图 用矩阵形式表示为： 表明一步转移概率是最基本的，它确定了马氏链的状态转移的统计规律。 5、初始概率与绝对概率 写成向量形式: (2) 绝对概率与初始概率的关系 表明n时刻的绝对概率分布完全由初始分布和n步转移概率所确定。 （3）马氏链的有限维分布 总结： 1）齐次马氏链多步转移概率可由一步转移概率确定； 2) 绝对概率可由初始概率及n步转移概率确定 3)有限维分布可完全由初始概率及一步转移概率确定。 例 带一个吸收壁的随机游动 用此模型可描述赌徒输光问题 解：这是带两个吸收壁的随机游动，其状态空间为：