随机过程论.docVIP

第二章 马尔可夫（Markov）过程 §1离散时间马氏链 设是一个有限集或可数集，通常或。称为状态空间。 定义1设是定义在概率空间一列随机变量，满足以下条件： 每个随机变量的值域为； 对于每个，， =, 则称为状态空间为的离散时间马尔可夫链，简称马氏链。条件概率 通常记作，称为第步转移概率。矩阵 称为第步转移矩阵。 如果转移概率 与无关，则称为时齐的。 称为初始分布。 通常我们只考虑时齐的马氏链，后面所说的马氏链都是指时齐的马氏链。 例1 有限区间上的吸收壁随机游动 例2有限区间上的反射壁随机游动 例3 0为反射壁的随机游动 例4 上的随机游动 命题1 转移函数和初始分布满足以下条件： 定理1 （Kolmogorov-Chapman方程）设为状态空间为的离散时间马尔可夫链，则 定理2设为状态空间为的离散时间马尔可夫链，转移概率为，则 定理3给定满足命题1的和，存在定义在某个概率空间上的马氏链使得它的转移函数为，初始分布为。 满足条件 的矩阵称为随机矩阵。 定义2 设为状态空间为的离散时间马尔可夫链，，如果存在某个使得，则称是自可达的，记作。如果并且，则称和j是互通的。 命题2 当且仅当存在某个以及使得 0. 显然由可推出. 对于一个马氏链来说，我们可以将状态空间按照互通关系划分成互通类。 例5 定义3 设, 如果外的任何一个状态都不能自中的状态到达，则称是闭集。如果单点集是一个闭集，则称是吸收态。如果的任一个真子集都不是闭集，则称是不可分的。 如果是不可分的，则称该马氏链是不可分的。 例6 例7 设, 包含的最小闭集称为的闭包，记作 。 结论： 是一个闭集，当且仅当对每个， 如果是一个闭集，则是一个随机矩阵。 是一个吸引态，当且仅当=1. 的闭包等于. 定义4 设，如果 则称状态是常返的，否则称之为暂留的。 令 ， =，. 则 , 表示自i到达j的所走的步数的数学期望，称为i的平均回转时间。 定义5 如果，则称i是正常返的，如果，则称i是零常返的。 例6 随机游动 定义6 如果集合的最大公约数为1，则称i是非周期的，否则称i为周期的，这时该集合的最大公约数称为i的周期。 例7 周期 命题3 设是常返态，如果，则并且j也是常返态。 分解定理 状态空间可以分成一系列互不相交的子集, 使得 每个 都由常返态组成，而且是不可分的闭集； 每个中的状态都是常返态，而且是同类的；如果是周期的，则周期都相同； 中的状态都是非常返的。 遍历定理 设表示第n步转移概率。则对于每个， 对于每个和零状态k，; 如果是非零的常返态，周期为t，令 , , 则。 如果是非零的常返态，非周期，则. 存在。 定义7 如果每个，则称为平稳分布。 定理3 有平稳分布，当且仅当该马氏链有非零的常返类，而且X具有唯一的平稳分布的充分必要条件是X是不可分的，其平稳分布满足方程组 . §2 连续时间马氏链 定义1设是定义在概率空间一族随机变量，满足以下条件： 每个随机变量的值域为； 对于每个，， =, 则称为状态空间为的连续时间马尔可夫链，简称马氏链。条件概率 通常记作，称为转移概率。矩阵 称为转移矩阵。 如果转移概率 仅与有关，则称为时齐的。 称为初始分布。 §3 Markov过程