《随机过程论》ch03离散时间可数状态马氏过程一马氏链.pptxVIP

“离散时间可数状态马氏过程一马氏链随机过程论新工科建设之路第三章 离散时间可数状态马氏过程一马氏链本章将研究一种较简单的马氏过程——可数状态马氏过程，也称马氏链。 离散时间可数状态马氏过程一马氏链于是，转移概率应满足的条件就变成: 离散时间可数状态马氏过程一马氏链 01离散时间时齐马氏链 1.例子本节我们就一些具体的例子来考察它的转移阵。下面的例1和例2已经在1.1节中提出了模型，此处不再重复，而只给出转移阵 P。例1(Bernoulli序列) 1.例子例2(随机徘徊) 1.例子例3(具有吸收壁的随机徘徊) 1.例子例4(具有反射壁的随机徘徊) 1.例子例5(分支过程) 1.例子例5(分支过程) 1.例子例6(遗传马氏链) 2.状态分类定义3.1 2.状态分类定义3.2i称为常返，若否则称为非常返(或暂态)。i常返的意思就是从i出发，有限步内必回到i。令及容易看出 2.状态分类命题3.2以下命题等价: 2.状态分类命题3.2 2.状态分类命题3.3 2.状态分类命题3.3 2.状态分类命题3.3就知道i是常返的。由命题3.3 就知道，按互通关系所分成的等价类中，有一部分是常返所组成的类，从这种常返类出发永远不能到达它以外的状态。换句话说，一个马氏链一旦到达某个常返类，就必须永远停留在此常返类中，并且将跑遍此常返类中的全部状态。于是，我们对上述各等价类之间的转移概率可以得到下面的结论:设全体常返类是 H1,H2，···,Hn，···H将全部非常返类合并为一类，记为 U;若将状态按不同等价关系类排列，转移阵应有以下形式: 2.状态分类定义3.3 3.调和函数、盈函数与禁忌概率 3.调和函数、盈函数与禁忌概率 3.调和函数、盈函数与禁忌概率 3.调和函数、盈函数与禁忌概率 3.调和函数、盈函数与禁忌概率定理3.1设P不可约，则P常返当且仅当P的一切盈函数都是常数。 3.调和函数、盈函数与禁忌概率定理3.1 3.调和函数、盈函数与禁忌概率可见P不可能常返。定理3.1 02弱遍历定理与不变测度 1.弱遍历定理则极限存在，而且满足方程定理3.2 1.弱遍历定理证明 由于定理3.2 1.弱遍历定理定理3.2另外，由于 1.弱遍历定理定理3.2 1.弱遍历定理定义3.6 1.弱遍历定理定义3.6 1.弱遍历定理定理3.3 1.弱遍历定理定理3.3 1.弱遍历定理定理3.3 2.不变概率测度命题3.7P的不变概率测度存在当且仅当它至少有一个正常返类，这时它的任一不变概率测度在非正常返类上的测度都是0 2.不变概率测度命题3.7 03强马氏过程、强遍历性与平均回访时间 1.强马氏性的概念定义3.8(强马氏性) 1.强马氏性的概念强马氏性是比马氏性更强的性质，直观地说，就是在考虑马氏性时，“现在”的时刻t是一个T中的数:而在强马氏性中，“现在”的时刻τ可以是任意停时。强马氏性可以使许多计算大大简化，可以得到许多好结果，因而考虑马氏过程，常常希望它能具有强马氏性。于是研究什么样的马氏过程具有强马氏性变得非常重要，时间参数离散的马氏过程都有强马氏性。但一般时间参数的马氏过程并不一定具有强马氏性，第五章中我们将对此给出反例。 1.强马氏性的概念命题3.8 1.强马氏性的概念命题3.8可见 2.平均回访时间现在让我们利用强马氏性来讨论回访时间间隔，令再令 2.平均回访时间 2.平均回访时间命题3.9 2.平均回访时间命题3.9 2.平均回访时间命题3.9 2.平均回访时间命题3.9 3.强遍历定理命题3.4 3.强遍历定理命题3.4 3.强遍历定理命题3.4 3.强遍历定理命题3.4 3.强遍历定理命题3.4 3.强遍历定理命题3.5 3.强遍历定理命题3.5 3.强遍历定理命题3.5 3.强遍历定理命题3.5 3.强遍历定理命题3.10 3.强遍历定理命题3.10命题3.10与定理3.5是一般平稳过程遍历论的特例。满足定理3.53)的平稳过程称为遍历的。人们也把满足定理3.51)的平稳马氏链或不可约正常返马氏链(两者本质上相同)称为遍历的马氏链。 3.强遍历定理命题3.10 04转移概率的极限 转移概率的极限定理3.6设P不可约正常返非周期，则证明 我们这里采用概率方法一合链方法来证明本定理，以避免像一般经典证法那样引用数论的结果:同时也较少利用马氏链的特殊性，以推广这个证法到连续状态空间的马氏过程。 转移概率的极限定理3.6 转移概率的极限定理3.6 转移概率的极限定理3.6 转移概率的极限定理3.7设P是零常返、不可约、非周期的，则 转移概率的极限定理3.7 转移概率的极限定理3.7 转移概率的极限定理3.8设P非周期，则其中而状态空间 转移概率的极限定理3.8 转移概率的极限定理3.9 转移概率的极限定理3.9 谢 谢 观 看“随机过程论新工