2014第六章 马尔可夫链.pptVIP

二、状态的分类 定义6 设 为一马氏链，对任一状态i与j，称 为 自状态i出发首次进入状态j的时刻，或称为自i到j的首次到达时间（首达时）。 是一随机变量。另外， 可能永不取值 j，这时我们就规定 1 2 0 T00=1 T01=1 T21=2 T02=2 T11=2 T20=1 T22=3 引理1 从而 定义7 设 为一马氏链，对任一状态i与j，称 为 自状态i出发经过n步首次进入状态j的概率。 引理2 对任何状态 ，有 证明：因为 定义8 设 为一马氏链，对任一状态i与j，称 为 自状态i出发迟早要到达状态j的概率。 显然有 （i 不能到达 j 的概率） fjj 表示从 j 出发迟早返回 j 的概率 1 2 0 p1 p2 q2 q3 p3 q1 例： 定理5 的充要条件是 证明：充分性：若 ，则根据到达的定义，总存在某个 ，使 所以 这样 ，至少有一个为正（不为0），所以 必要性：若 ，则由 至少有一个 使 ，故 表示自状态i出发，在有限步内迟早要返回状态i的概率， 是在0与1之间的一个数。 推论 的充要条件是 定理6 0 2 1 1/2 1/2 1/2 1/2 1/2 1/2 1/2 0 2 1 1/2 1/2 1/3 1/3 1/3 1/2 例 例 推论： 定义9 如果 ，则称状态j是常返的。如果 ，则称状态j是非常返的（或称为瞬时的）。如果马尔可夫链的任一状态都是常返的，则称此链为常返马尔可夫链。 从 i 出发经过n步首次到达j 的平均步长（时间） 三 状态分类的判别 定理7 状态 j 是常返（ ）的充要条件为 状态 j 为非常返态，则 推论：如果状态 j 是非常返的，则必有 从 j 出发返回 j 的平均次数 由 j 到 j 的次数 定义11 如果状态i是非周期且正常返的，则称状态i是遍历的。 定义10 设集合， 非空，在此集合中所有 n 的最大公约数为 d，d1，称 j 为d 的状态，d=1 状态为非周期的。 马氏状态分类图 状态分类判别法： （1） i非常返 （2）i零常返 且 且 （3）i正常返 定理9 若 ，则 （1）i与j同为常返或同为非常返； （2）若i与j常返，则i与j同为正常返或同为零常返； （3）i与j或同为非周期的，或同为周期的且有相同的周期。 定理8 i为常返， 则 j 也为常返，且 * 第六章 马尔可夫过程（Ⅰ） 马尔可夫链 6.1马尔可夫过程 当已知随机过程在时刻 所处的状态的条件下，过程在时刻 所处的状态与过程在时刻 以前的状态无关，而仅与过程在 所处的状态有关，则称该过程为马尔可夫过程。这种特性称为随机过程的“无后效性”或马尔可夫性。 6.1.1马尔可夫过程的概念 6.1.2 分类 1 T和E都取连续集时，称为马尔可夫过程。 2 若T取连续集而E取离散集时，称为可列马尔可夫过程。 3 若T取离散集而E取连续集时，称为马尔可夫序列。 4 若T和E都取离散集时，称为马尔可夫链。状态可列的马尔可夫链称为可列马尔可夫链；状态有限的马尔可夫链称为有限马尔可夫链。 6.2 马尔可夫链 1.马尔可夫链的表示 整数或者非负整数对应 一、马尔可夫链 6.2 马尔可夫链 2.马尔可夫链的定义 为一随机序列，其状态空间 ，若对于任意的 ，满足 则称 为马尔可夫链（简称马氏链）。 定义：设 状态有限：有限状态马尔可夫链 状态无限：可列无限状态马尔可夫链 时，有 由所有一步转移概率 构成的矩阵 ① 定义： 3.转移概率 称为一步转移概率矩阵，简称转移概率矩阵。 ② 性质： ③ 一步转移概率 ④ k步转移概率 为了数学处理便利，通常规定 4. 转移概率矩阵 可构成 k步转移概率矩阵 由所有k步转移概率 （1） （2） 二、齐次马尔可夫链 1 2 0 1 1/2 1/2 1/2 1/2 三、举例 1.天气预报 有雨 0 无雨 1 今日下雨