上海高等院校随机过程第六章习题及答案.docVIP

第三章 习 题 1．甲乙两人进行某种比赛，设每局比赛中甲胜的概率为，乙胜的概率为，平局的概率为，其中，设每局比赛后，胜者得1分，负者得分，平局不记分，当两个人中有一个人得到2分时比赛结束，以表示比赛至第局时甲获得的分数，则是一齐冯马尔可夫链. （1）写出状态空间； （2）求一步转移概率矩阵； （3）求在甲获得1分的情况下，再赛2局甲胜的概率. 解（1）的状态空间为 （2）的一步转移概率矩阵为 （3）因为两步转移概率矩阵为 所以在甲获得1分的情况下，再赛2局甲胜的概率为 2．设为相互独立的随机变量序列，则 （1）是否为Markov链？ （2）令，问是否为Markov链？ 解（1）由于 因此，是马尔可夫链. （2）取，当时，是的函数，记为依次类推，为的函数，记为为的函数，记为由于相互独立，则其相应的函数也相互独立，从而 因此是马尔可夫链. 3 设是相互独立的随机变量，且使得，如果，其中，就称在时刻产生了一个记录.若在时刻产生了一个记录，就称为记录值，以表示第个记录值. （1）证明，是Markov链，并求其转移概率； （2）以表示第个与第记录之间的时间，问是否是Markov链，若是，则计算其转移概率. 证明：（a）根据题意有：，……满足 且 故 故是一个马尔可夫链且 （由于的独立性） （b）记为第个记录与第个记录之间的时间，是相