随机过程试题及答案.docxVIP

随机过程试题及答案

题目一：离散时间马尔可夫链

考虑一个离散时间马尔可夫链，状态空间为{1,2,3}，状态转移矩阵为：

P=|0.40.20.4|

|0.10.60.3|

|0.30.10.6|

其中，初始状态为1，试求：

a)从状态1开始，第2步时处于状态3的概率；

b)从状态2开始，第3步时处于状态1的概率；

c)从状态3开始，经过4步后处于状态3的概率。

答案一：

a)从状态1开始，第2步时处于状态3的概率。

根据状态转移矩阵P，可知从状态1转移到状态3的概率为0.4，从状态3转移到状态3的概率为0.6，因此，从状态1开始，第2步时处于状态3的概率为0.4*0.6=0.24。

b)从状态2开始，第3步时处于状态1的概率。

根据状态转移矩阵P，可知从状态2转移到状态1的概率为0.1，从状态1转移到状态1的概率为0.4，因此，从状态2开始，第3步时处于状态1的概率为0.1*0.4=0.04。

c)从状态3开始，经过4步后处于状态3的概率。

根据状态转移矩阵P，可知从状态3转移到状态3的概率为0.6，从状态3转移到状态2的概率为0.1，从状态2转移到状态3的概率为0.4，因此，从状态3开始，经过4步后处于状态3的概率为0.6*0.1*0.4*0.6=0.0144。

题目二：连续时