管理预测72马尔可夫链.ppt

定义 6 ：（稳态概率） 凡具有遍历性的马尔可夫过程，在经历多次转移之后， 系统会存在一个处于 j 状态的与系统原始状态无关的有限 概率，我们把这一稳定概率称之为系统的稳态概率。 定义 7 ：（具有遍历性的马尔可夫链） ? X n , n ? 0 ? 为有限状态齐次马尔可夫链，对所有 设 i , j ? 1 , 2 , ? , N ，存在与 i 无关的极限 的 ? k ? lim P ? ? ij j k ? ? ? X n , n ? 0 ? 具有遍历性的马尔可夫 其中 ? 为常数，则称此 链。 对于稳态概率的求解，我们有以下的定理存在： ? X , n ? 0 ? 为有限状态齐次马尔可夫链， P 为其一步转移 设 i , j ? 1 , 2 , ? , N ， s ? 0 ，使得对所有的 概率矩阵，若存在正整数 ? ? ? 0 , j ? 1 , 2 , ? , N P 有： ，则此马尔可夫链满足遍历性。且稳态概率 ? j 为方程组 j n s ij （ 7 － 11 ） ? j ? ? ? i P ij i ? 1 N 在条件： ? ? 0 , ? ? ? 1 下的唯一解。 N j j ? 1 j ? 7.1 ? 7.2 ? 7.3 ? 7.4 第 7 章 马尔可夫预测法 随机过程的基本概念与基本类型 马尔可夫链 马尔可夫预测方法应用示例 马尔可夫决策方法 ? 7.2.1 马尔可夫链基本概念 ? 有一类随机过程，它具备所谓的 “无后效性” （即马尔可夫性），即要确定过程将来的状态， 知道它此刻的情况就足够了，并不需要对它以 往状况的认识，这类过程称为 马尔可夫过程。 ? 马链的要义就是：如果你想展望未来那么你应 立足今日，忘记昨天。 ? 1. 马尔可夫链定义 ? 马尔可夫链的定义为： P ? X n ? 1 ? j X 0 ? i 0 , X 1 ? i 1 , ? , X n ? 1 ? i n ? 1 , X n ? i ? ? P ? X n ? 1 ? j X n ? i ? （ 7 － 8 ） ? 称随机过程 ? X n , n ? 0 , 1 , 2 , ? ? 为马尔可夫链，（ 7 － 8 ） 式为马尔可夫性。 ? X n , n ? 0 , 1 , 2 , ? ? ，若它只取有限或可列 ? 对于随机过程 多个值 E 1 , E 2 , ? （我们称它们是过程的状态记为 E ， 称为过程的状态空间），并且对任意的 ，对一 n ? 0 i , j , i 0 , j 0 , ? , i n ? 1 有： 切的状态 ? “转移概率”是马尔可夫链理论中的一个 重要概念，其定义为： ? （ 7 － 8 ）式中的条件概率 P ? X n ? 1 ? j X n ? i ? 为 马尔可夫链 ? X n , n ? 0 , 1 , 2 , ? ? 的 一步转移概率， 简称转移概率。 一般情况下，转移概率与状态 和时刻 n 有关 ? 状态转移概率矩阵 ? 系统从一种状态变为另一种状态时，称之为状 态转移；如果我们能知道系统从“当前时刻的 某个状态”转移到“下一时刻的另一状态”的 概率，即一部状态转移概率，那么由状态空间 中所有一步状态转移概率构成的矩阵就称为状 态转移矩阵。 时齐马尔可夫链是马尔可夫链中的一种相对简单情形， 在本章中，我们只讨论时齐马尔可夫链，并且简称为马尔 可夫链。其定义为： P ? X ? j X ? i ? 当马尔可夫链的转移概率 只与状态有关， n ? 1 n 而与 n 无关时，称马尔可夫链为时齐的，并 记 P ij ? P ? X n ? 1 ? j X n ? i ? ?