3.2 马尔可夫预测模型.pptVIP

* 数学模型 安徽大学数学科学学院 周礼刚 lg_zhou@126.com 3.2 马尔可夫预测模型 马尔可夫（Markov）链模型是1906年由俄国数学家Markov对其研究而命名的，后来Kolmogorrov、Feller、Doob等数学家对其进行了进一步的研究与发展。马尔可夫链的定义如下： 定义3.2.1 设有随机过程 ， 其中状态空间为 ,若对任意的正整数k，任意 ， ( )及任意非负整数 ， 有 (3.2.1)则称 为离散时间的马尔可夫链，简称马尔可夫链或马氏链。 其中式(3.2.1)表示的性质为Markov性或无后效性。无后效性的直观意义是：如果把时刻 看作现在，那么 是将来的时刻，而 则是以前的时刻，Markov性表示在确切知道系统现在状态的条 件下，系统将来状态的概率分布只与现在的状态有关，与之前的状态无关。 条件概率 称为在时刻n系统从状态i经过k步，转移到状态j的k步转移概率，记为 一般地，转移概率 不仅与状态i和j有关，而且与时刻n有关，当 与n无关时，表明马尔可 夫链具有平稳的转移概率，此时称马尔可夫链为（时间）齐次的马尔可夫链，并把 记为 。以下我们仅讨论齐次的马尔可夫链，通常将“齐次”两字省略。当k=1时，把 记为 ，称 为马尔可夫链的一步转移概率。若用 表示马尔可夫链的k步转移概率所组成的矩阵，则 称为k步转移概率矩阵。 此外，特别的，规定 ，进一步，当k=1时，一步转移概率组成的矩阵 。显然，转移概率矩阵具有如下性质： (1) ; (2) . 马尔可夫链的k步转移概率满足重要的Chapman-Kolmogorov方程（简称C-K方程）。 定理 3.2.1 (C-K方程，Chapman-Kolmogorov) 对于任意的正整数k，l及 有 （3.2.2） 根据定理3.2.1，C-K方程也可以写成矩阵形式为 . 。因此，我们有k+1步转移概率与一步转移概率之间的关系为 。n步转移概率矩阵 与一步转移概率矩阵P的关系为 。 定义3.2.2 马尔可夫链 ，初始时刻取各状态的概率 .称为 的初始概率分布，简称为初始分布。在时刻n取各状态的概率 . .称为在时刻n的绝对概率分布，简称为绝对分布。 对于状态空间为 的马尔可夫链，我们有 ，即时刻n的绝对概 率分布等于初始分布与n步转移概率的乘积，写成矩阵形式为： (3.2.3) 可见，马尔可夫链在时刻n的绝对概率分布可由初始分布与一步转移概率矩阵P决定。 例3.2.1　（直线上的随机游动）设一质点在线段[1, 5]上随机游动，状态空间 ，每秒钟发生一次随机游动， 图3.2.1 直线上的随机游动 移动的规则为：(1) 若移动前在2，3，4处，则均以概率 向左、向右移动一单位或停留在原处；