4马氏链.pptVIP

马尔可夫链及其概率分布 引言 直观上，过程（或系统）在时刻t0所处的状态为已知的条件下,过程在时刻t＞t0所处状态的条件分布与过程在时刻t0之前所处的状态无关。 用分布函数表达此性质，设随机过程{X(t),t?T}，状态空间为?，若对于t 的任意n个值t1t2…tn,n?3,有 则称过程{X(t),t?T}具有马尔可夫性，或称 {X(t),t?T}为马尔可夫过程。 例.记从数1,2, …,N中任取一数为X0，当n?1时，记从数1,2, …,Xn-1中任取一数为Xn,问｛Xn,n=0，1，2,…｝是马氏链吗？ 证：｛Xn,n=0，1，2,…｝的状态空间?={i,1?i?N}, 2．转移概率的性质 (1) Pij?0； 若以Xn表示时刻n时Q的位置，不同的位置就是Xn的不同状态，那么｛Xn,n=0，1,2,…｝是一随机过程，状态空间就是I，而且当Xn=i,i?I为已知时,Xn+1所处的状态的概率分布只与Xn=i有关，而与Q在时刻n以前如何到达i是完全无关的，所以｛Xn,n=0，1,2,… ｝是一马氏链，且是齐次的。它的一步转移概率和一步转移概率矩阵分别为 如果把1这一点改为吸收壁，即Q一旦到达1，就永远留在点1上。此时，相应链的转移概率矩阵只须把P中第1横行改为（1，0，0，0，0）。