随机过程与 4.1 .ppt

4 马尔可夫链 内容提要 马尔可夫链的概念及转移概率 马尔可夫链的状态分类 状态空间的分解 pij(n) 的渐近性质与平稳分布 马尔可夫过程的简介 马尔可夫过程是一类重要的随机过程。它是在20世纪初由苏联学者马尔可夫在研究随机过程中得到的。由于马尔可夫在信息理论、自动控制、数值计算、近代物理、交通运输、工程技术及生物科学等方面起到的异乎寻常的作用，使得现代科学和现代工程技术人员越来越重视马尔可夫过程的理论及其应用的研究。 马尔可夫过程的四种类型 马尔可夫链 时间、状态都离散 马尔可夫序列 时间离散、状态连续 纯不连续马尔可夫过程 时间连续、状态离散 连续马尔可夫过程（或扩散过程） 时间、状态都连续 4.1 马尔可夫链的概念及转移概率 马尔可夫的简介 马尔可夫的简介 马氏性（无后效性） 马尔可夫链的统计特性完全由以下条件概率所决定： 马氏性 马氏性 转移概率 pij(n) 不仅与状态 i , j 有关，而且与时刻 n 有关。 当 pij(n) 与时刻 n 无关时，表示马尔可夫链具有平稳转移概率。 齐次马尔可夫链 一步转移概率矩阵 性质： n 步转移概率 n 步转移概率 的性质 n 步转移概率 的性质 n 步转移概率 的性质 疑难解析 初始概率和绝对概率 绝对概率 pj(n) 的性质 绝对概率 pj(n) 的性质 有限维概率分布 马尔可夫链的几个简单例子 [例] （例4.4）具有吸收壁和反射壁的随机游动 描述马氏链的三种方式 * * [定义] 设有随机过程 { Xn , n ?T }， 若对于任意的整数n ?T 和任意的 i0, i1, …, in+1 ?I ，条件概率满足则称 { Xn , n ?T } 为马尔可夫链，简称马氏链。 安德雷·安德耶维齐·马尔可夫，俄国数学学家，1856年6月14日生于梁赞，1922年7月20日卒于圣彼得堡。1874年入圣彼得堡大学，受P.L.切比雪夫思想影响很深。1878年毕业，并以《用连分数求微分方程的积分》一文获金质奖章。两年后，取得硕士学位 ，并任圣彼得堡大学副教授。1884年取得物理-数学博士学位，1886 年任该校教授。1896年被选为圣彼得堡科学院院士。1905年被授予功勋教授称号。 马尔可夫是彼得堡数学学派的代表人物。以数论和概率论方面的工作著称。他的主要著作有《概率演算》等。马尔可夫最重要的工作是在1906～1912年间，提出并研究了一种能用数学分析方法研究自然过程的一般图式——马尔可夫链。同时开创了对一种无后效性的随机过程——马尔可夫过程的研究。目前，马尔可夫链理论与方法已经被广泛应用于自然科学、工程技术和公用事业中。 已知“现在”的条件下，“将来”与“过去”独立的特性称为马尔可夫性，简称马氏性，具有这种性质的随机过程叫做马尔可夫过程。 荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上，因为青蛙是没有记忆的,当现在所处的位置已知时,它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用X0,X1,X2,…分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码，那么{Xn，n≥0} 就是马尔可夫过程。 [定义] 称条件概率为马尔可夫链 { Xn , n ?T } 在时刻 n 的一步转移概率，其中 i , j ?I ，简称为转移概率。 [定义] 若对任意的 i , j ?I ，马尔可夫链 { Xn , n ?T } 的转移概率 pij(n) 与时刻 n 无关，则称马尔可夫链是齐次的，并记为 pij (n) 为 pij 。 （随机矩阵） [定义] 称条件概率为马尔可夫链 { Xn , n ?T } 的 n 步转移概率，并称为马尔可夫链 的 n 步转移矩阵。 规定： [定理] 设 { Xn , n ?T } 为马尔可夫链，则对于任意整数n ? 0, 0 ? l n 和 i , j ?I ，n 步转移概率 具有下列性质： C-K方程 [证明](1)利用全概率公式及马尔可夫性有 B1,B2,..是一列两两互斥事件，P(Bi)0,如果则 (2)在(1)中令l=1,k=k1然后通过递推即得。 (3)在(1)中令l=1，利用矩阵乘法可证。 (4)由(3)，利用归纳法可证。 怎样理解切普曼-柯尔莫哥洛夫方程（C-K方程）？ C-K方程表明：从状态i出发经过k+n步到达状态j的过程可分为两段：先从状态i出发经过k步到达状态r，再由状态r出发经过n步到达状态j。由马尔可夫性，后一阶段的状态转移与前一阶段的状态转移独立，故两个阶段的转移概率是相乘的关系，而经过k步所到达的状态r不受任何限制，因此要对全部的r求和。 初始概率：