《第十一章马尔可夫链》-精选课件(公开).pptVIP

第十一章 马尔可夫链 马尔可夫链及其概率分布 引言 过程（或系统）在时刻t0所处的状态为已知的条件下,过程在时刻t＞t0所处状态的条件分布与过程在时刻t0之前所处的状态无关。无后效性 用分布函数表达此性质，设随机过程{X(t),t?T}，状态空间为?，若对于t 的任意n个值t1t2…tn,n?3,有 则称过程{X(t),t?T}具有马尔可夫性，或称 {X(t),t?T}为马尔可夫过程。 一、马尔可夫链及其概率分布的定义 状态和时间参数都是离散的马尔可夫过程称为马尔可夫链，或马氏链。 记为｛Xn=X(n),n=0,1，2，…｝,记链的状态空间为?＝?a1，a2，…?，ai?R .在链的情况，马尔可夫性通常用分布率表示。 1.马氏链的定义 例.记从数1,2, …,N中任取一数为in，当n?1时，记从数1,2, …,in-1中任取一数为Xn,证明｛Xn,n=0，1，2,…｝是一个马氏链。 证：｛Xn,n=0，1，2,…｝的状态空间?={i,1?i?N}, 2．转移概率的性质 (1) Pij?0； 定义3 称条件概率 为马尔可夫链在时刻m处于状态ai的条件下，在时刻m+n步转移到状态aj的