第17讲 马尔可夫与马尔可夫链.pptVIP

第十一章 马尔可夫链 第十一章 马尔可夫链 第17讲 马尔可夫过程与马尔可夫链 * * 马尔可夫(1856～1922) Markov，Andrei Andreevich 俄罗斯数学家.1856年6月14日生于梁赞,1922年7月20日卒于圣彼得堡.1874年入圣彼得堡大学，受P.L.切比雪夫思想影响很深。1878年毕业，并以《用连分数求微分方程的积分》一文获金质奖章。两年后，取得硕士学位 ，并任圣彼得堡大学副教授。1884年取得物理-数学博士学位，1886 年任该校教授。1896年被选为圣彼 得堡科学院院士。1905年被授予功勋教授称号。 马尔可夫是彼得堡数学学派的代表人物。以数论和概率论方面的工作著称。在数论方面，他研究了连分数和二次不定式理论 ，解决了许多难题 。在概率论中，他发展了矩法，扩大了大数律和中心极限定理的应用范围。马尔可夫最重要的工作是在1906～1912年间，提出并研究了一种能用数学分析方法研究自然过程的一般图式——马尔可夫链。同时开创了对一种无后效性的随机过程——马尔可夫过程的研究。马尔可夫过程在自然科学、工程技术和公用事 业中有广泛的应用。他的主要著作有《概率演算》等。 马尔可夫（Markoff）过程是无后效性的随机过程，现已成为内容十分丰富，理论相当完整，应用十分广泛的一门数学分支．由于马尔可夫过程的理论在近代物理、生物学、分子遗传学、自动控制、管理科学、信息处理以及数字计算方法等方面都有重要应用．使得现代科学家及工程技术人员越来越重视马尔可夫过程的理论 及应用研究。本章讨论以下五个问题： 一、 马尔可夫过程 二、 马尔可夫链 三、 多步转移概率的确定 四、 遍历性 五、 马尔可夫链的应用 一、马尔可夫过程 如研究一个商店的累计销售额，如果现在时刻累计销售额已知，则未来某一时刻的累计销售额与现在时刻以前的任一时刻 累计销售额无关． 在自然界中，很多确定性现象遵从如下演变原则：由时刻t0系统或过程所处的状态，可以决定系统或过程在时刻tt0所处的状态，而无需借助于t0以前系统或过程所处状 态的历史资料. 第19讲 马尔可夫过程与马尔可夫链 一、马尔可夫过程 在自然界中，很多确定性现象遵从如下演变原则：由时刻t0系统或过程所处的状态，可以决定系统或过程在时刻tt0所处的状态，而无需借助于t0以前系统或过程所处状 态的历史资料. 某生物种群规模的大小只与现在规模大小有关，而与过去该 种群规模大小无关. 第19讲 马尔可夫过程与马尔可夫链 一、马尔可夫过程 在自然界中，很多确定性现象遵从如下演变原则：由时刻t0系统或过程所处的状态，可以决定系统或过程在时刻tt0所处的状态，而无需借助于t0以前系统或过程所处状 态的历史资料. 假设一部电梯是由进入电梯内的人自行操作的，那么电梯下一步运行到哪一处，只依赖于当前电梯内人员的意图，而与过去 电梯从何而来是无关的. 第19讲 马尔可夫过程与马尔可夫链 一、马尔可夫过程 过程（或系统）在时刻t0 所处的状态为已知的条件下，过程在时刻tt0所处状态的条件分布与过程在时刻t0之前所处的状态无关,这种性质称为马尔可夫性或无后效 性． 1. 马尔可夫性 通俗地说，就是在已经知道过程“现在”的条件下，其“将来”不依赖于“过去”．描述这类随机现象的数学模型称 之为马尔可夫模型． 第19讲 马尔可夫过程与马尔可夫链 一、马尔可夫过程 1. 马尔可夫性 2. 马尔可夫过程 具有马尔可夫性的随机过程称为马尔可夫过程. 一、马尔可夫过程 1. 马尔可夫性 2. 马尔可夫过程 定义11.1 设随机过程{X(t),t?T}的状态空间为I．如果对时间t 的任意n个数值0?t1t2…tn，n?3，ti ? T ，在条件X(ti)=xi ,xi?I, i=1,2, …，n下，X(tn)的条件分布函数恰等 于X(tn-1)=xn-1下的条件分布函数．即 或 则称过程{X(t),t?T}为马尔可夫过程．简称马氏过程. 一、马尔可夫过程 1. 马尔可夫性 2. 马尔可夫过程 定义11.1 设随机过程{X(t),t?T}的状态空间为I．如果 则称过程{X(t),t?T}为马尔可夫过程．简称马氏过程. 注：如果把时刻tn-1看作“现在”，相对于tn-1而言，时刻tn是“将来”，时刻t1，t2，…，tn 是“过去”. 马尔可夫过程的要求是：已知过程现在的状态，过程将来的状态与过程过去的状态无关. 也就是说，过程的“将来”只通过“现在”与“过去”发生联系，一旦“现在”已确定，则“将来