转移概率稳定性.pptVIP

1.转移概率的极限 由已有知识可知 ()若为非常返或零常返时,对∨有limp2=0 总假定是正常返且湜是非正常返 或者j和馮属于同一个正常返类 但!又由已有知识可知 (2)当为正常返周期状态时impm不存在 就这样讨论极限mP将无意义 那么,如何讨论??? 由周期链的性质得到启发我们讨论 当n→∞时的极限问题r=1,2, 记f()∑fm,j∈S,r=1,2…d f()表示系统从状态出发,在某时刻n=mdl+r 首次到达状态j概率 且∑f()=∑f)=∑(∑f n=0r=1 ∑fm=f 定理1设是正常返状态,则 ipm)=f(),i∈S,r=1,2,…,d 其中k是j的平均转回时间 证明∵d不能整除时,pm”=0 仅当y=l+时,l=0…,np/m”0 =∑f ∑f 即 (nd, +r) (+)p2(n)对v1Nn ∑f (ld; +r)((n-1)d, )r(nd;+r ∑ (ld; +r)((n-1)d;) 固定N,讥n→∞得 ∑fn≤ lim p≤imn =0 n→00 ∑ +∑ 再让N→∞得 lm(以 =f(r) i∈S,r=1,2,…,d 推论设{X,n=02,…是齐次马尔可夫链,它的每个 状态都是正常返的,而且都有周期d,状态空间S 已经被唯一地分解成S={m则v,j∈S lim pij d,若i于同一 0,否 特别的,如果d=1,则Ⅴi,j∈S, Im n→)0 证明在以上定理中取r=d,则有 lim f(d n→6 f()∑f”∴f(d)=∑f 若,属于同一个mP1m0=0→fm=0 →f(a)=0 若,满属于同一个Jn若不能整除时,p0=0 f(d)=∑f=∑f=f=1 即得到结论. 如果存在某正整数m,使(X,n=0,1,2,…的一步转移概率 矩阵P的m次幂P=(m2m)中的每个元素都大于0,则 Xn,n=0.12是不可约的而且V,j∈S,必存在极限 imP,且此极限与初始状态无关,记为z,即有 0,j为非常返或零常反状态 Im p (n) i常返非周期状态 证明∵ⅵi,j∈S,pm0→ij→S不可约闭集 →S的状态都是非周期 当S中有一个为非常返(或零常返状态), 则均为为非常返(或零常返状态) ∴V,j∈S,limp n→00 当S中有一个为正常返,则均为为正常返 S, lim p n 0,j为非常返或零常反状态 Im p (n) i常返非周期状态 定理3设S=D∪CUC∪C2∪…,其中D为非常返状态 集,C°为零常返状态集,Cn(m=1,2…)为正常返 状态闭集,则 j∈D∪C,i∈ lin (n) j∈C遍历,i∈S m n→)0 0,j∈Cn有周期,i∈C∪C,l≠m 般不存在,j∈Cn有周期,i∈D∪Cn 推论设{Xn,n=0,1,2,…4是不可约的马尔可夫链,其 状态空间S中的每个状态都是正常返非周期状态,则 vij∈S,极限lmP存在 且此极限值与初始状态i关,记作z,即 Im n(n)