随机过程_C4马尔可夫链.docVIP

练习四：马尔可夫链 随机过程练习题 1．设质点在区间[0，4]的整数点作随机游动，到达0点或4点后以概率1停留在原处，在其它整数点分别以概率向左、右移动一格或停留在原处。求质点随机游动的一步和二步转移的概率矩阵。 2．独立地重复抛掷一枚硬币，每次抛掷出现正面的概率为，对于求，令=0，1，2或3，这些值分别对应于第次和第次抛掷的结果为（正，正），（正，反），（反，正）或（反，反）。求马尔可夫链的一步和二步转移的概率矩阵。 3．设为马尔可夫链，试证： （1） （2） 4．设为有限齐次马尔可夫链，其初始分布和转移概率矩阵为 ，，试证 5．设为随机过程，且，为独立同分布随机变量序列，令，试证是马尔可夫链。 6．已知随机游动的转移概率矩阵为，求三步转移概率矩阵及当初始分布为时经三步转移后处于状态3的概率。 7．已知本月销售状态的初始分布和转移概率矩阵如下： （1），； （2），； 求下一、二个月的销售状态分布。 8．某商品六年共24个季度销售记录如表（状态1——畅销，状态2——滞销） 季 节 1 2 3 4 5 6 7 8 9 10 11 12 销售状态 1 1 2 1 2 2 1 1 1 2 1 2 季 节 13 14 15 16 17 18 19 20 21 22 23 24 销售状态 1 1 2 2 1 1 2 1 2 1 1 1 以频率估计概率。求（1）销售状态的初始分布；（2）三步转移概率矩阵及三步转移后的销售状态分布。 10．讨论下列转移概率矩阵的马尔可夫链的状态分类。 （1）；（2）； （3），其中， 11．设马尔可夫链的转移概率矩阵为（1）；（2）；计算，， 12．设马尔可夫链的状态空间，转移概率矩阵为 求状态的分类及各常返闭集的平稳分布。 13．设马尔可夫链的转移概率矩阵为，求它的平稳分布。 14．艾伦菲斯特(E renfest)链。设甲乙两个容器共有个球，每隔单位时间从这个球中任取一球放入另一容器中，记为在时刻甲容器中球的个数，则是齐次马尔可夫链，称为艾伦菲斯特链，求该链的平稳分布。 15．将2个红球4个白球任意地分别放入甲、乙两个盒子中，每个盒子放3个，现从每个盒子中各任取一球，交换后放回盒中（甲盒内取出的球放入乙盒中，乙盒内取出的球放入甲盒中），以表示经过次交换后甲盒中红球数，则为一齐次马尔可夫链，（1）求一步转移概率矩阵；（2）证明是遍历链；（3）求 16．设为非周期不可约马尔可夫链，状态空间为，若对一切，其一步转移概率矩阵满足条件：，试证（1）对一切，；（2）若状态空间，计算各状态的平均返回时间。 17．设河流每天的BOD（生物耗氧量）浓度为齐次马尔可夫链，状态空间是按BOD浓度为极低、低、中、高分别表示的，其一步转移概率矩阵（以一天为单位）为。若BOD浓度为高，则称河流处于污染状态。（1）证明该链是遍历链；（2）求该链的平稳分布；（3）河流再次达到污染的平均时间。 答 案 1．解：质点随机游动的一步转移的概率矩阵为 质点随机游动的二步转移的概率矩阵为 2．解：马尔可夫链的一步转移的概率矩阵为 马尔可夫链的一步和二步转移的概率矩阵为 3．证： （1） （2） 4．证： 5．解：由题意知是的函数，由于是相互独立的随机变量，故对，与独立。 由，的任意性知为马尔可夫链。 6．解：， 7．解：， 8．解：，， 9．解： ，两个闭集。 10．解：（1），两个遍历状态闭集。 （2）遍历闭集，非常返态。 （3），是吸收态闭集，是非常返集。 11．解：（1），，；，，；，，；，，。 12．解：，非常返集，，是正常返闭集。由转移矩阵 解得的平稳分布为； 同理，的平稳分布为。 13．解：，， 14．解：的转移概率为 ，，，， 其平稳分布满足方程组 解此方程组得 由条件 得 故的平稳分布为， 15．解：（1） （2）由于是有限的，中所有状态是互通的，且状态0是非周期的，故为遍历链。 （3）由平稳分布满足的方程组 解方程组得：，， ，， 16．解：（1）用归纳法。设当时，对一切，都有，则 （2）由条件知为非周期不可分马尔可夫链，且状态空间有限，故为遍历链，因此 ，所以 ，， 17．解：（2），，，； （3）（天）