[医学]随机过程第二章课件.pptVIP

第二章 马尔可夫过程（I）马尔可夫链 【2.1】马尔可夫过程的定义 2.1 马尔可夫过程的定义 【一】马尔可夫过程定义: 2.1 马尔可夫过程的定义 【一】马尔可夫过程定义: 2.1 马尔可夫过程的定义 【二】马尔可夫链定义: 2.1 马尔可夫过程的定义 【二】马尔可夫链定义: 2.1 马尔可夫过程的定义 【三】转移概率: 2.1 马尔可夫过程的定义 【三】转移概率: 2.2 切普曼－柯尔莫哥洛夫方程式 【一】切普曼－柯尔莫哥洛夫方程 2.2 切普曼－柯尔莫哥洛夫方程式 【二】性质 2.3 马尔可夫链的一些简单例子 2.3 马尔可夫链的一些简单例子 2.3 马尔可夫链的一些简单例子 2.3 马尔可夫链的一些简单例子 2.3 马尔可夫链的一些简单例子 2.3 马尔可夫链的一些简单例子 2.3 马尔可夫链的一些简单例子 2.3 马尔可夫链的一些简单例子 2.3 马尔可夫链的一些简单例子 2.3 马尔可夫链的一些简单例子 2.3 马尔可夫链的一些简单例子 2.3 马尔可夫链的一些简单例子 2.4 独立增量过程 2.5 马尔可夫链中状态的分类 【一】到达和相通 2.5 马尔可夫链中状态的分类 【一】到达和相通 2.5 马尔可夫链中状态的分类 【二】状态空间的分解 2.5 马尔可夫链中状态的分类 【二】状态空间的分解 2.5 马尔可夫链中状态的分类 【二】状态空间的分解 2.5 马尔可夫链中状态的分类 【二】状态空间的分解 2.5 马尔可夫链中状态的分类 【二】状态空间的分解 2.5 马尔可夫链中状态的分类 【三】常返态和滑过态（非常返态） 【三】常返态和滑过态（非常返态） 【三】常返态和滑过态（非常返态） 【三】常返态和滑过态（非常返态） 【三】常返态和滑过态（非常返态） 【三】常返态和滑过态（非常返态） 【三】常返态和滑过态（非常返态） 【三】常返态和滑过态（非常返态） 【三】常返态和滑过态（非常返态） 【四】周期的状态和非周期的状态 【四】周期的状态和非周期的状态 【定义二】由状态 出发，经 步首次到达状态 的概率 对于 有 则 为随机变量 的概率，它表示自状态 出发，经过 步转移首次到达状态 的概率，简称首中概率。也就是随机变量 的概率分布。或者表示成如下形式 于是有 2.5 马尔可夫链中状态的分类 【定义三】由状态 出发，经有限步到达状态 的概率 对于 令 称 为自状态 出发，迟早到达状态 的概率，它表示系统由状态 出发，经过有限步终于到达状态 的概率。需要强调的是，式中求和时下标不包括 ，从而得到 并且显然有 2.5 马尔可夫链中状态的分类 【定理一】对于任意状态 及 有 【证明】 2.5 马尔可夫链中状态的分类 2.5 马尔可夫链中状态的分类 【定理二】 的充要条件是 【系】 状态 i , j 相通的充要条件是 和 由前定义知， 为从状态 i 出发首次返回状态 i 所需要的时间， 代表从状态 i 出发经过有限步迟早要返回状态 i 的概率。 （1）如果 ，则称状态是常返态 （2）如果 ，则称状态是非常返态，有时也称滑过态。 2.5 马尔可夫链中状态的分类 【定理三】 状态 i 是常返（即 ）的充要条件是 如果状态 i 为非常返（即 ），则 由此，可以得出结论： （1）对于一个非常返态，在过程中访问它的次数是有限的 （2）对于一个状态个数有限的马尔可夫链，不是所有的状态都为非常返态。 2.5 马尔可夫链中状态的分类 【定理四】 马尔可夫链中相通的两个状态，如果其中一个是常返态，则另一个也是常返。 所以马尔可夫同一类中如果有一个是常返态，则同类中所有各态都是常返态，如果同类中有一个是非常返态，则同类中所有各态都是非常返态。 因此，可以把常返、非常返称为类的特性。