5.2齐次马尔可夫链.pptxVIP

第二节 齐次马尔可夫链 一、齐次马尔可夫链的概念 一个随机过程｛Xn，n＝0，1，2，…｝就是一族随机变量，而Xn 能取 的各个不同的值，则称为状态。如果一个随机过程｛Xn，n＝0，1，2，…｝， 由一种状态转移到另一种状态的转移概率只与现在处于什么状态有关，而 与在这时刻之前所处的状态完全无关，即如果过程｛Xn，n＝0，1，2，…｝ 中，Xn+1 的条件概率分布只依赖于Xn 的值，而与所有更前面的值相互独立， 则该过程就是所谓马尔可夫(Markov)过程． 马尔可夫链是指时间离散，状态也离散的马尔可夫过程。一个马尔可 夫链，若从u 时刻处于状态i，转移到t＋u 时刻处于状态j 的转移概率 与转移的起始时间u 无关，则称之为齐次马尔可夫链，简称齐次马氏链。 如果把从状态i 到状态 j 的一步转移概率记为pij，则 pij＝P｛Xn+1＝j｜ Xn＝i｝，i，j＝0，1，2，…，且有转移概率矩阵P， ;R(t)＝(X1(t)，X2(t)，X3(t)，X4(t)，X5(t))， ;;; ;;;