3-1Markov 链.pptVIP

通常，我们规定 转移概率函数之间具有下列关系式 对 （3.4） 此称为切普曼-柯尔莫洛夫（Chapman-Kolmogorov)方程。 这个方程式的直观意义是：由 i 状态出发经 s+t 时间到达 j 状态，必须先经 s 时间到达任意 r 状态，然后再经 t 时间 由 r 状态转移到 j 状态。此方程的证明方法类似于马尔科夫 链中切普曼一柯尔莫哥洛夫方程的证明方法，只要把那里 的m，k, l 分别换成 即可。 马尔科夫过程在初始时刻（即零时刻〕取各状态的概率 分布 (3.5) 称为它的初始（概率）分布。 显然有 (3.6) 特别地，当马尔科夫过程在零时刻由固定的状态 出 发，此时 马尔科夫过程在 t 时刻取 各状态的概率分布 (3.7) 称在 t 时刻的绝对概率分布。 (3.8) 显然有 (3.7) 利用全概率公式可以得到 在马尔科夫链中，n 步转移概率可以由一步转移概率算 得。而一步转移概率可用直观方法求得。在马尔科夫过程 中，转移概率函数 可以通过解微分方程获得。为此 首先需要导出转移概率函数所满足的微分方程组。 由此知绝对概率完全被初始概率分布和转移概率函数所