[数学]马尔可夫链1.pdfVIP

第13章 马尔可夫链 马尔可夫过程是目前发展很快，应用甚 广的一种重要随机过程，这类过程的特点是 ：当过程在时刻 t0 所处的状态为已知的条件 ( t )t 下，过程在时刻 0 所处的状态与过程 在t0 时刻之前的状态无关，这个特性称为无 后效性。 无后效性用通俗的话来说，就是“已知 过程的现在，就可以决定过程的将来，而将 来与过去无关”。 1 马尔可夫过程在近代物理、生物、公用 事业、信息处理、自动控制以及数字计算方 法等方面都有重要作用。通信、控制系统中 的噪声与信号、通信网络的传输现象等也常 用马氏过程来模拟。 2 一、马尔可夫过程的概念 定义1 若对 ∀n 及 0 ≤t t Lt ， 1 2 n { ( ), 0}X t t ≥ 的条件分布函数有性质 随机过程 P{ X( t ) x | X( t ) x , , X( t ) x } ≤ L n n n −1 n−1 1 1 { ( ) | ( ) } P X t x X t x ≤ n n n −1 n−1 { ( ), 0}X t t ≥ 则称随机过程 具有无后效性或称 马尔可夫性， { ( ), 0}X t t ≥ 称为马尔可夫过程。 3 X( )t 这表明，在已知 的条件下， ( X )tn−1 x n−1 在t t 时的取值情况与 t 以前 取值无关， n n −1 n−1 ′ 亦即对t t n−1 时刻的信息都已总结到 t n−1 时刻 了。 4 马尔可夫过程按照其状态和时间参数是连 续还是离散进行划分,其中状态和时间参数都 是离散的马尔可夫过程称为马尔可夫链，这一 节我们着重讨论马尔可夫链。 5 二、马尔可夫链的概念及转移概率 1、马尔可夫链的概念 定义2、时间和状态都是离散的马尔可夫过程称