11.3 马 氏 链 电子科技大学.pptVIP

四、切普曼－柯尔莫哥洛夫方程 有两个吸收状态“1”和“5” 若不许他再进入酒吧, 又被家人赶出门, 则转移矩阵为 称状态“1”和“5”是反射状态. 五、遍历性与平稳性 将老鼠迷宫涂上不同颜色, 对老鼠运动进行足够多次的观察，以了解， 1 红 2 白 3 黑 1）哪一种颜色的吸引力最大？ 2）初始状态对结果有何种 影响？ 关注当n→∞, pij(n) 的极限（j =1,2,3）是否与 i 有关？ 数学问题： 定义11.3.6 设{ξ(n),n=0，1,2,…}是齐次马氏链, 若对 且与 i 无关，称此马氏链具有遍历性. 以下极限存在 是概率向量 为齐次马氏链的最终分布或 极限分布. 齐次遍历马氏链的n步转移矩阵满足 EX.11.3.7 直线上的随机游动 1 2 3 状态空间E={1, 2, 3} 讨论{ξ(n), n≥1}是否遍历？ 解 {ξ(n), n≥1}是齐次马氏链. 故{ξ(n), n≥1}不是遍历马氏链. 定理11.3.2 (遍历性定理 ) 设齐次马氏链{X(n),n=0,1,2,…}的状态空间为E={1, 2,…, s}. (有限状态马氏链) 若存在正整数n0 , 对任意i，j ∈E有 则此马氏链是遍历的，且极限分布Π是方程组 在满足条件 下的唯一解. 是概率向量 注一 对于齐次马氏链, 由C－K方程, 有 遍历性定理11.3.3 中条件可叙述为：存在正整数n0 , 使n0步转移矩阵 的每一元 素都为正数(称P为正则阵). 注 二 遍历性定理中条件(1) 可改写为 EX.11.3. 8 迷宫问题 设老鼠运动是齐次马氏链, 其一步转移矩阵P为 因P是正则阵, 由遍历性定理知老鼠运动是遍历马氏链. 有 第n步绝对概率分布当 时有 一般, 对任意初始概率向量π(0)=（p1 p2 p3）均有 π(0) W=Π. 定义11.3.7 设 {ξ(n),n≥0}为齐次马氏链, 若存在行向量 称 V 是马氏链的平稳分布. 注 若齐次马氏链的初始分布是一个平稳分布V，则对任意n步绝对概率分布为 即绝对分布保持不变. 系统具有平稳性 参见P266定理11.3.6 定理11.3.2 之推论 有限状态遍历马氏链的极限分布是平稳分布. EX.11.3.9 考虑经多级传送后, 数字传输的准确可靠程度如何？ X(0)—进入系统第一级的数字; X(n)—表示第n 级传出的数字, {X(n),n=0, 1, 2, …}是齐次马氏链, 状态空间为E={0,1}. *电子科技大学 §11.3 马 氏 链 一、马氏过程 马尔科夫过程是由前苏联数学家A. A. Markov 首先提出和研究的一类随机过程, 已成为内容丰富, 理论较完善, 应用十分广泛的一门数学分支, 应用涉及计算机、自动控制、通信、生物学、 经济、气象、物理、化学等等领域. 系统特征 在已知系统现在所处状态下, 系统将来的演变规律与过去无关, 称为无后效性. 例如 生物基因遗传从这一代到下一代的转移仅依赖当代而与以往各代无关； 某公司的经营状况具有无后效性； 评估一个计算机系统的性能时, 系统将来的状态取决于目前所处的状态，而无需考虑过去的状态情况； 定义11.3.1 随机过程{ξ(t),t∈T}, 如果对于任意取定参数 t1t2…tn, 有 称{ξ(t),t∈T}为马氏过程. 注 马氏性即知道“当前状态”的情况下, 过去信息对推断将来的概率分布不起作用. 设{ξ(t),t∈T}为马氏过程, “过程在 t 时刻处于状态x ”; 记 E={x ξ(t)=x, t∈T} 称为过程的状态空间. 若E 是可数集, 称{ξ(t),t∈T}是马氏链. 若指标集T 是可数集, 称{ξ(t),t∈T}是马氏序列. 本节讨论状态空间E和参数集T都是可列集的马尔科夫链. 二、马尔科夫链 马尔科夫链的理论系统而深入，在自然科学、工程技术及经济管理各领域有广泛的应用. 定义11.3.2 设{ξ(n), n≥0} 为随机变量序列, 状态空间E={0,1,2,…},若对任意非负整数m, l, k 及s1 s2… slm, 及 P{ξ(m+k)=im+k| ξ(s1)=is1, …,ξ(sl)=isl ,…, ξ(m)=im} = P{ξ(m+k) = im+k| ξ(m) = im} 成立,称{ξ(n), n≥0} 为离散参数马氏链. 称条件概率 为马氏链在m 时刻的k步转移概率. 特别 称为一步