随机过程考试题：马尔可夫链转移概率与状态分类分析.pdfVIP

Problems:

1.AMarkovchainXn,n≥0withstates0,1,2,hasthetransitionprobability

{}

010

(n)

matrixP=1−p0p.FindthetransitionprobabilityP,n≥1.



010

2.SpecifythestateclassesofthefollowingMarkovchains,anddeterminewhetherthey

arerecurrentortransient(常返态，非常返态),positiveornullrecurrent(正常返态，

零常返态),periodicoraperiodic(周期，非周期),ergodicornon-ergodic遍历非遍历

(常返态，非常返态).

3.LetX,n=1,2,beanBernoulliprocess.Defineanotherprocess

{n}

Y,n=1,2,.Y=0ifX=0.IfX=0,X=...=X=X=1,then

{n}nnn−kn−k+1n−1n

问题：

010

1.状态为0,1,2的马尔可夫链{}0Xn≥具有转移概率矩阵

n

(n

=1−0Ppp。求转移概率),≥1Pn。



010

2.指定下列马尔可夫链的状态类，并确定它们是循环还是瞬态、正循环还是零

循环、周期还是非周期、遍历还是非遍历。

n