3-1Markov链范例.pptVIP

通常，我们规定 转移概率函数之间具有下列关系式 对 （3.4） 此称为切普曼-柯尔莫洛夫（Chapman-Kolmogorov)方程。 这个方程式的直观意义是：由 i 状态出发经 s+t 时间到达 j 状态，必须先经 s 时间到达任意 r 状态，然后再经 t 时间 由 r 状态转移到 j 状态。此方程的证明方法类似于马尔科夫 链中切普曼一柯尔莫哥洛夫方程的证明方法，只要把那里 的m，k, l 分别换成 即可。 马尔科夫过程在初始时刻（即零时刻〕取各状态的概率 分布 (3.5) 称为它的初始（概率）分布。 显然有 (3.6) 特别地，当马尔科夫过程在零时刻由固定的状态 出 发，此时 马尔科夫过程在 t 时刻取 各状态的概率分布 (3.7) 称在 t 时刻的绝对概率分布。 (3.8) 显然有 (3.7) 利用全概率公式可以得到 在马尔科夫链中，n 步转移概率可以由一步转移概率算 得。而一步转移概率可用直观方法求得。在马尔科夫过程 中，转移概率函数 可以通过解微分方程获得。为此 首先需要导出转移概率函数所满足的微分方程组。 由此知绝对概率完全被初始概率分布和转移概率函数所确定。 (3.9) * * 证毕。 利用无后放性， 将（2．7）式表示成矩阵形式，得 ??(2.8) 在(2.8)式中，取 k=1,l=1 得 取 k=2, l=1 得 一般地，有 (2.7) 此式表明 n 步转移概率矩阵等于 n 个一步转移概率矩阵 的乘积。由此可见，n 步转移概率矩阵可由一步转移概率 矩阵获得。 因此，在马尔科夫链中，一步转移概率是最基本的，它 完全确定链的状态转移的统计规律。 通常，我们规定 （2.10) 特殊地，马尔科夫链在零时刻由确定的 状态出发，此时. 马尔科夫链在初始时刻（即零时刻〕取各状态的概率分布 （2.11) 称为它的初始（概率）分布。显然有 三、初始概率，绝对概率 此式表明在 n 时刻绝对概率分布完全被初始概率分布 和 n 步转移概率所确定。 利用全概率公式可得 即 ??? ?（2.13) 马尔科夫链在第 n 时刻取各状态的概率分布 （2.12) 称为它在时刻 n 的绝对概率分布。当 n=0 时，绝对概率分 布变为初始概率分布。显然有 定理2 马尔科夫链的有限维分布 此式表明有限维分布完全由初始概率分布和转移概率所确定。 证 证毕。 具有有限多个状态的马尔科夫链简称为有限马尔科夫链。 设它的状态空间 。又设具有无限多个状 态马尔科夫链的状态空间为 马尔科夫链理论中一个重要问题是讨论当 时 转移概率 的极限。这里的讨论有时需要区分有限状 态空间和无限状态空间。 四、遍历性 定义 若马尔科夫链转移概率的极限 ??? (２.15) 存在，且与 i 无关，则称此马尔科夫链具有遍历性。 对有限马尔科夫链，显然有 ?????? (2.16) 事实上，前者由转移概率的非负性即得，而后者在等式 中让 可得。此时，我们称 为转移概率的极限分布。 由 , 有 , 让 得 ， 再让 得所需结果。此时转移概率的极限不一定构 成概率分布。 对于具有无限多个状态的马尔科夫链，有 前者是显然的，而后者的证明如下：由 ?(2.16) 如果 满足 ，则称它是转移概率 的极限分布。 当马尔科夫链具有遍历性时，考察绝对概率的极限。在（2．13）式中，让 ，得 即 ???(2.17) ??这里 ，表示有限多个或无限多个自然数。 （2．17）式表明绝对概率的极限与转移概率的极限是 相同的。这说明讨论转移概率的极限已经足够，而绝对概 率分布的极限自然地可以被得到。 需要指出,上面推导中的