马尔可夫与马尔可夫链课件.pptVIP

第17讲 马尔可夫与马尔可夫链 第十一章 马尔可夫链 马尔可夫（Markoff）过程是无后效性的随机过程，现已成为内容十分丰富，理论相当完整，应用十分广泛的一门数学分支．由于马尔可夫过程的理论在近代物理、生物学、分子遗传学、自动控制、管理科学、信息处理以及数字计算方法等方面都有重要应用．使得现代科学家及工程技术人员越来越重视马尔可夫过程的理论 及应用研究。本章讨论以下五个问题： 一、 马尔可夫过程 二、 马尔可夫链 三、 多步转移概率的确定 四、 遍历性 五、 马尔可夫链的应用 第17讲 马尔可夫过程与马尔可夫链 一、马尔可夫过程 如研究一个商店的累计销售额，如果现在时刻累计销售额已知，则未来某一时刻的累计销售额与现在时刻以前的任一时刻 累计销售额无关． 在自然界中，很多确定性现象遵从如下演变原则：由时刻t0系统或过程所处的状态，可以决定系统或过程在时刻tt0所处的状态，而无需借助于t0以前系统或过程所处状 态的历史资料. 第19讲 马尔可夫过程与马尔可夫链 一、马尔可夫过程 在自然界中，很多确定性现象遵从如下演变原则：由时刻t0系统或过程所处的状态，可以决定系统或过程在时刻tt0所处的状态，而无需借助于t0以前系统或过程所处状 态的历史资料. 某生物种群规模的大小只与现在规模大小有关，而与过去该 种群规模大小无关. 第19讲 马尔可夫过程与马尔可夫链 一、马尔可夫过程 在自然界中，很多确定性现象遵从如下演变原则：由时刻t0系统或过程所处的状态，可以决定系统或过程在时刻tt0所处的状态，而无需借助于t0以前系统或过程所处状 态的历史资料. 假设一部电梯是由进入电梯内的人自行操作的，那么电梯下一步运行到哪一处，只依赖于当前电梯内人员的意图，而与过去 电梯从何而来是无关的. 第19讲 马尔可夫过程与马尔可夫链 一、马尔可夫过程 过程（或系统）在时刻t0 所处的状态为已知的条件下，过程在时刻tt0所处状态的条件分布与过程在时刻t0之前所处的状态无关,这种性质称为马尔可夫性或无后效 性． 1. 马尔可夫性 通俗地说，就是在已经知道过程“现在”的条件下，其“将来”不依赖于“过去”．描述这类随机现象的数学模型称 之为马尔可夫模型． 第19讲 马尔可夫过程与马尔可夫链 一、马尔可夫过程 1. 马尔可夫性 2. 马尔可夫过程 具有马尔可夫性的随机过程称为马尔可夫过程. 一、马尔可夫过程 1. 马尔可夫性 2. 马尔可夫过程 定义11.1 设随机过程{X(t),t?T}的状态空间为I．如果对时间t 的任意n个数值0?t1t2…tn，n?3，ti ? T ，在条件X(ti)=xi ,xi?I, i=1,2, …，n下，X(tn)的条件分布函数恰等 于X(tn-1)=xn-1下的条件分布函数．即 或 则称过程{X(t),t?T}为马尔可夫过程．简称马氏过程. 一、马尔可夫过程 1. 马尔可夫性 2. 马尔可夫过程 定义11.1 设随机过程{X(t),t?T}的状态空间为I．如果 则称过程{X(t),t?T}为马尔可夫过程．简称马氏过程. 注：如果把时刻tn-1看作“现在”，相对于tn-1而言，时刻tn是“将来”，时刻t1，t2，…，tn 是“过去”. 马尔可夫过程的要求是：已知过程现在的状态，过程将来的状态与过程过去的状态无关. 也就是说，过程的“将来”只通过“现在”与“过去”发生联系，一旦“现在”已确定，则“将来”与“过 去”无关. 例11.1 如果{X(t),t?a}是独立增量过程,且X(a)=0， 那么{X(t),t?a}是一个马尔可夫过程. 证 因为{X(t),t?a}是独立增量过程,由独立增量过程的定义可知,对任意的n,当0?t1t2…tn-1tn，相应的增量 相互独立. 根据条件X(a)=0及随机变量相互独立性可知 与 ， 相互独立. 例11.1 如果{X(t),t?a}是独立增量过程,且X(a)=0， 那么{X(t),t?a}是一个马尔可夫过程. 证 根据条件X(a)=0及随机变量相互独立性可知 与 ， 相互独立. 因此对任意的 ，有 例11.1 如果{X(t),t?a}是独立增量过程,且X(a)=0， 那么{X(t),t?a}是一个马尔可夫过程.