(解答)《随机过程》第二章习题.pdf

中国科学院大学2019～2020 第一学期 随机过程讲稿 孙应飞 第二章 Markov 过程 习题解答 1、设{ , n 1} 为相互独立同分布的随机变量序列，其分布为： n P{ 1}  p  0, P{  0}  q 1  p  0 n n 定义随机序列{X n , n  2} 和{Yn , n  2} 如下： 0, n 0, n1 0;  1, n 0, n1 1;  0,   0,   0; X n  Yn   n n1 2, n 1, n1 0; 1, 其它; 3, n 1, n1 1;  试问随机序列{X n , n  2} 和{Yn , n  2} 是否为马氏链？如果是的话，请写出其一步转 移概率矩阵并研究各个状态的性质。不是的话，请说明理由。 解：（1）显然，随机序列{X n , n  2} 的状态空间为S {0,1,2,3} 。 任意取i, j, i , i ,, i S ，由于当X  i 给定时，即 , 的值给定时，就可以确定 2 3 n1 n n n1 X n1 的概率特性，即我们有： P{X n1  j X n  i, X n1  in1 ,, X 3  i , X  i }  P{X  j X  i } 3 2 2 n1 n 因此{X n , n  2}是齐次马氏链，其一步转移概率矩阵为： q 0 p 0    P  q 0 p 0  0 q 0 p   0 q 0 p 由于p  0, q 1  p  0 ，画出状态转移图，可知各个状态都相通，且都是非周期的，因 此此链是不可约的遍历链。（也可以利用P 2  0 判定此链是不可约的遍历链） （2 ）显然，{Y , n  2} 的状态空间为S {0,1} ，由于： n P{Y4  0,Y3 1,Y2 1} P{Y4  0 Y3 1,Y2 1}  P{Y3 1,Y2 1}