数理统计与随机过程马尔科夫链.pptVIP

第十一章 马尔可夫链 * 数理统计与随机过程 第十一章 主讲教师：程维虎教授 北京工业大学应用数理学院 本章首先从随机过程在不同时刻状态之间的特殊的统计联系，引入马尔可夫(Markoff)过程的概念。然后，对马尔可夫链(状态、时间都是离散的马尔可夫过程)的两个基本问题，即转移概率的确定以及遍历性问题作不同程度的研究和介绍。 马尔可夫过程的理论在近代物理、生物学、管理科学、经济、信息处理以及数字计算方法等方面都有重要应用。 §11.1 马尔可夫过程及其概率分布 在物理学中，很多确定性现象遵从如下演变原则：由时刻t0系统或过程所处的状态，可以决定系统或过程在时刻t t0所处的状态，而无需借助于t0以前系统或过程所处状态的历史资料。如微分方程问题所描绘的物理过程就属于这类确定性现象。把上述原则延伸到随机现象，即当一物理系统或过程遵循的是某种统计规律时，可仿照上面的原则，引入以下的马尔可夫性或无后效性：过程(或系统)在时刻t0所处的状态为已知的条件下，过程在时刻tt0所处状态的条件分布与过程在t0之前所处的状态无关。通俗地说，就是在已经知道过程“现在”的条件下，其“将来”不依赖于“过去”。 现用分布函数来表述马尔可夫性.设随机过程{X(t), t ∈T}的状态空间为I。如果对时间t的任意n个数值t1t2 …tn, n≥3, ti ∈T，在条件X(ti)=x