(完整版)上海大学随机过程第六章习题及答案.docVIP

第三章 习 题 1．甲乙两人进行某种比赛，设每局比赛中甲胜的概率为 p ，乙胜的概率为 q ，平局的概率 为 r ，其中 p, q, r 0, p q r 1 ，设每局比赛后，胜者得 1 分，负者得 1分，平局不记 分，当两个人中有一个人得到 2 分时比赛结束，以 X n 表示比赛至第 n 局时甲获得的分数， { X n , n 1} 是一齐冯马尔可夫链 . 1）写出状态空间； 2）求一步转移概率矩阵； 3）求在甲获得 1 分的情况下，再赛 2 局甲胜的概率 . 解（ 1） { X n , n 0} 的状态空间为 S { 2, 1,0,1,2} （ 2） { X n , n 0} 的一步转移概率矩阵为 1 0 0 0 0 q r p 0 0 P 0 q r p 0 0 0 q r p 0 0 0 0 1 （ 3）因为两步转移概率矩阵为 1 0 0 0 0 q rq r 2 pq 2 pr p2 0 P(2) P 2 q2 2rq r 2 2 pq 2 pr p2 0 q2 2qr pq r 2 p pr 0 0 0 0 1 所以在甲获得 1 分的情况下，再赛 2 局甲胜的概率为 p12(2) p pr p(1 r ) 2．设 { Yi ,i 1,2,L } 为相互独立的随机变量序列，则 （1） { Yi ,i 1,2,L } 是否为 Markov 链？ n （2）令 X n Yi ，问 { X i , i 1,2,L } 是否为 Markov 链？ i 1 解（ 1）由于 P(Yn j Y1 i1 ,Y2 i 2 ,L ,Yn 1 P(Y1 i1, Y2 i2 ,L ,Yn 1 i ,Yn j ) i) P(Y1 i1 ,Y2 i2 ,L , Yn 1 i) P(Y1 i1 )P(Y2 i2 )L P(Yn 1 i )P(Yn j ) j ) P(Yn j Yn 1 i ) 1 i 2 , L ,Yn 1 i ) P(Yn P(Y i1 ,Y2 因此， { Yn , n 1,2,L } 是马尔可夫链 . （ 2）取 f1 (U 1 ) X1 U 1 ，当 U 1 i1 时， X 2 U 1 U 2 是 U 2 的函数，记为 f2 (U 2 ). 依 次类推， X n 1 U 1 U 2 L U n 1 为 U n 1 的函数，记为 fn 1 (U n 1 ), X n U 1 U 2 L U n 为 U n 的 函 数 ， 记 为 fn (U n ). 由 于 U 1,U 2 ,L ,U n ,L 相 互 独 立 ， 则 其 相 应 的 函 数 f1 (U 1), f 2 (U 2 ),L , fn (U n ),L 也相互独立，从而 n P( X n j X1 i1 , X 2 i2 ,L , X n 1 i ) P( Yi j X1 i1, X 2 i2 ,L , X n 1 i ) i 1 P( X n 1 Yn j X1 i1 , X 2 i2 ,L , X n 1 i) P(Yn j i ) P( X n j X n 1 i ) 因此 { X n , n 1,2,L } 是马尔可夫链 . 3 设  X i , i  1,2,L  是相互独立的随机变量，且使得  P( X i  j )  a j , j  0,1,L  ，如 果 X n  max{ X i ,i  1,2,L ,n  1}  ，其中  X 0  ，就称在时刻  n 产生了一个记录  .若在时刻  n 产生了一个记录，就称  X n 为记录值，以  Rn 表示第  n 个记录值  . （1）证明，  { Rn , n  1,2,L } 是  Markov  链，并求其转移概率； （2）以 Ti 表示第  i 个与第  i  1 记录之间的时间， 问 { Tn  , n  1,2,L } 是否是  Markov  链，若是， 则计算其转移概率  . 明 ：（  a ） 根 据 意 有 ：  R1  X n1 , R2  X n2 ,....Rk  X nk  ， ? ? 足 X n1  X n 2 ....  X nk ....  且1  n1  n2 ....  nk .... 故 P{ Rk 1  z | Rk  ik , Rk 1  i k 1 ,...R1  i1}  P{ Rk 1  z | j  ik  ik 1  ...  i1} P{ Rk  1  z | j  ik}  P{ Rk 1