4--离散时间马尔可夫链--beamer.pdfVIP

第四章: 离散时间马尔可夫链 韩参变量 开课单位: 某某大学数学与统计学院 手机号码: +1234567654321 电子邮件: 某某大学邮箱 韩参变量 (某某大学) 第四章: 离散时间马尔可夫链 1 / 60 S4.1 马氏链及其转移概率 韩参变量 (某某大学) 第四章: 离散时间马尔可夫链 2 / 60 引例 Example 1 全国的城镇有编号 1, 2, · · · , , 旅行家随机走访全国的城镇. 他到达城镇 后, 停留一周, 然后以概率 向城镇 转移. 不考虑路程时间, 当时间充分 长后, 他恰好在城镇 的概率是多少? 如果某些城镇之间没有直接相连, 他 是否能够走遍所有的城镇? 韩参变量 (某某大学) 第四章: 离散时间马尔可夫链 3 / 60 状态空间 Definition 2 设{ | = 0, 1, 2, · · · } 是随机序列, 如果每个 都在 中取值, 则称 为 { } 的状态空间, 称 中的元素为状态. 特别地, 当 中只有有限个或可列个状态时, 可以将 中的状态进行编号, 得到由整数构成的号码集合 . 为 了方便, 常用状态的编号表示该状态, 从 而 成为 { } 的状态空间. 韩参变量 (某某大学) 第四章: 离散时间马尔可夫链 4 / 60 马尔可夫链 Definition 3 如果对于任意正整数 和 中的, , , , , · · · , , 随机序列 { } 满足 0 1 2 −1 ( = | = , = , · · · , = ) +1 −1 −1 0 0 = (+1 = | = ) = (1 = |0 = ), 则称 { } 为时齐的马尔可夫链, 简称为马氏链. 称概率 (1 = |0 = ), , ∈ 为马氏链 的转移概率, 称矩阵 = ( ), ∈ 为马氏链 的一步转移概率矩阵, 简称为转移矩阵. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 元素非负且各行之和为 1 的矩阵, 常称为随机矩阵. 韩参变量 (某某大学) 第四章: 离散时间马尔可夫链 5 / 60 条件概率独立性的等价条件 Theorem 4 对于事件 , , , 当 () 0 时, 条件 ( |) = ( |) 与条件 ( |) = ( |) ( |) 等价