随机过程论基础.docVIP

第二章 马尔可夫（Markov）过程 §1离散时间马氏链 设是一个有限集或可数集，通常或。称为状态空间。 定义1设是定义在概率空间一列随机变量，满足以下条件： 每个随机变量的值域为； 对于每个，， =, 则称为状态空间为的离散时间马尔可夫链，简称马氏链。条件概率 通常记作，称为第步转移概率。矩阵 称为第步转移矩阵。 如果转移概率 与无关，则称为时齐的。 称为初始分布。 通常我们只考虑时齐的马氏链，后面所说的马氏链都是指时齐的马氏链。 例1 有限区间上的吸收壁随机游动 例2有限区间上的反射壁随机游动 例3 0为反射壁的随机游动 例4 上的随机游动 命题1 转移函数和初始分布满足以下条件： 定理1 （Kolmogorov-Chapman方程）设为状态空间为的离散时间马尔可夫链，则 定理2设为状态空间为的离散时间马尔可夫链，转移概率为，则 定理3给定满足命题1的和，存在定义在某个概率空间上的马氏链使得它的转移函数为，初始分布为。 定义2 设为状态空间为的离散时间马尔可夫链，，如果存在某个使得，则称是自可达的，记作。如果并且，则称和j是互通的。 命题2 当且仅当存在某个以及使得 0. 显然由可推出. 对于一个马氏链来说，我们可以将状态空间按照互通关系划分成互通类。 例5 定义3 设，如果 则称状态是常返的，否则称之为暂留的。 命题3