(概率统计节教案）第十三章马氏链第二节(下).docVIP

三.有限维概率分布 马尔可夫链在初始时刻的概率分布 , 称为初始分布. 初始分布与转移概率完全地确定了马尔可夫链的任何有限维分布.下面的定理二正是论述这一点. 不妨设齐次马尔可夫链的参数集和状态空间都是非负整数集,那么有 定理二 设齐次马尔可夫链的状态空间,则对任意个非负整数和内的任意个状态,有 , (13.9) 证 由概率的乘法公式和马尔可夫性 , 由全概率公式,上式等号右端第一因式化为 , 于是得到 , 证毕 . 例6 在本节例5中,设初始时输入0和1的概率分别为和,求第2、3、6步都传输出1的概率. 解 由题设知 , 由式(13.9) 马尔可夫链在任何时刻的一维概率分布 , 又称为绝对概率,或称为瞬时概率. 由全概率公式得 , 如果马尔可夫链具有齐次性,那么上式化为 , (13.10) 由式(13.10)递推得到 , (13.11) 式中是初始时刻.式(13.11)表明:齐次马尔可夫链在时刻的瞬时概率完全地由初始分布和步转移概率所确定. 将公式（13.10）和(13.11)写成向量形式得 定理 设齐次马尔可夫链的状态空间为,转移概率矩阵, 初始分布为 ,, 则有 , , 其中步转移概率矩阵. 设,则有 , 如果存在,则应满足. 例7 本节例2中,设质点在初始时刻恰处在状态2,试求在时刻,质点处在各个状态的概率. 解 由本节例2中的转移概率矩阵,求得二步转移概率矩阵为 = 按题意有 , , 由公式(13.11)得 , , , , . 方法二 按题意有 =(0,0,1,0,0), 二步转移概率矩阵为 = = =(0,0,1,0,0) =. 四.平稳分布 如果一维分布与无关,那么式(13.10)化为式(13.12),于是有 定义4 对于齐次马尔可夫链,一步转移概率矩阵,,如果存在概率分布 (即, ), 满足 ， (13.12) 则称为平稳分布, 称具有平稳性,是平稳齐次马尔可夫链. 改写成向量:平稳分布律要满足 =, 即 , ,, . 显然有 =. 定理 如果齐次马尔可夫链的初始分布 ,, 是一个平稳分布, 则 , . 证明 由(13.11)式和平稳分布的性质,得 = =, 证毕 例 设齐次马尔可夫链的转移概率矩阵为, 且初始概率分布为 。 求; 求; （3）求平稳分布. 解 (1) ; (2) ; 平稳分布满足方程组 ， , , , 解之得 ； 故平稳分布为 。 带一个反射壁的一维随 机游动,以表示在时刻粒子处于状态,状态空间, 转移概率 , , ( ), , ( ), 求平稳分布 解 根据题设条件，知 转移概率矩阵 平稳分布应满足 , 即应满足 , 由(1)得 , 由(2)得 , , 得到 , (4) 由(3),(4)得 ,当时, 即当时,解得 ,代入(4)式得 , 而当时,不存在平稳分布. 4