马尔科夫链初步1.ppt

马尔科夫链初探 数学科学学院 陈诚 2011.9 目录： 预备知识 马尔科夫链 等价和非等价命题 转移矩阵 马氏链的性质 不变测度和平稳分布 平稳分布的存在唯一性 预备知识： 状态空间S 状态空间S是过程Xt的可能取值空间。 如果S = {0,1,2,…}我们称为离散状态的随机过 程；如果S = R，则称为实值随机过程。 指标集T 即Xt的下标的指标集，一般指时间。 如果T = {0,1,2,…}我们称为离散时间随机过程，常用Xn代替Xt；如果T = [0,∞)则称为连续时间随机过程。 本次所涉及的： 离散时间马尔科夫链 离散时间：指T离散 链：指S离散 马尔科夫链：具有马氏性 什么是马尔科夫链： 指随机过程具有马氏性： 我们称随机过程{Xt; t ∈ T}具有马氏性，如果对任何t0 t1 …tn+1, ti ∈ T, i = 1, 2,…, n + 1以及A ∈ B（状态空间S的Borel集），都有P[Xtn+1 ∈ A|Xtn = an,Xtn?1 = an?1, · · · ,Xt0 = a0] = P[Xtn+1 ∈ A|Xtn = an] 简言之：马氏性=给定现在过去和将来独立 再给出一些等价和非等价的命题： 1. {Xn}为离散时间马尔科夫链 2. 对?t1 t2 · · · tn+1, i1, · · · , in+1∈ S均有P[Xtn+1 = in+1|Xt1 = i1, · · · , Xtn = in] = P[Xtn+1 = in+1|Xtn = in] 3. ?t1 t2 · · · tn+m, i1, · · · ,in+m∈S 均有P[Xtk = ik, n + 1 ≤ k ≤ n + m|Xt1 = i1, · · · ,Xtn = in]= P[Xtk = ik, n + 1 ≤ k ≤ n + m|Xtn = in] 再给出一些等价和非等价的命题： （另记N ∈ F{Xt, t ≥ tn},M ∈ F{Xt, t ≤ tn}） 4. P{N|M,Xtn = in} = P{N|Xtn = in} 5.（非等价）P{N|M,Xtn ∈ A} 6= P{F|Xtn ∈ A} 转移矩阵： 单步转移概率： P{Xn+1 = j|Xn = i} = pij 如果这里的pij不依赖于时间n，则称它为齐次马氏链，否则称为非齐次的 （下面所提到的均指齐次马氏链） 转移矩阵： 称矩阵P = (pij)为转移矩阵，如果有下面两条成立： 1. ?i, j ∈ S，pij ≥ 0; 2. ?i ∈ S，sum（j∈S，pij） = 1 转移矩阵： 有限维联合分布： P(Xk = ik,k = 0,1,…,n) = μi * π(pik-1ik) 其中{μi}为初始分布 n步转移概率： P(Xn = j|X0 = i) = p(n)ij (Chapman ? Kolmogorov方程)： p(m+n)ij = sum（k，p(m)ik * p(n)kj） 马氏链性质：常返性 定义： τi(0) = 0, τi(1) = inf{m ≥ 1,Xm = i}. 在(τi(1) ∞)上，定义τi(2) = inf{m τi(1) : Xm = i}，依次我们得到τi(n + 1) = inf{m τi(n) : Xm = i} 马氏链性质：常返性 常返：如果Pi(τi(1) ∞) = 1 正常返：如果Eiτi(1) ∞ 零常返：反之 非常返：继续反之 马氏链性质：常返性 对n ≥ 1，定义 f(n)ij = P(τj(1) = n|X0 = i) = Pi(τj(1) = n) 为马氏链{Xn}经过n次转移首次到达j的概率 由于τj(1) ≥ 1，则f(0)ij = 0 定义 fij =sum(n,1,∞,f(n)ij) = Pi(τj(1) ∞) 表示经有限步到达j的概率 马氏链性质：常返性 i常返当且仅当fii = 1 i正常返当且仅当 Eiτi(1) = sum(n,0, ∞,n*f(n)ii) ∞ 状态i能到达j的充分必要条件是fij 0 设j常返，k != j， j → k则 k常返 j ? k fjk = fkj = 1 马氏链性质：常返性 而由j ? k我们知 j与k 同正常返 同零常返 同非常返 马氏链性质：常返性 状态i