离散时间马尔可夫链-西安电子科技大学.PDFVIP

第六章 离散时间马尔可夫链 马尔可夫过程是前苏联数学家A.A.Markov首先提出和研究 的一类随机过程. 十九世纪后二十年 Markov主要致力于独立随机变量和古 典极值理论的研究,并改进和完善了大数定律和中心极限定 理． 二十世纪初 Markov的兴趣转移到相依随机变量序列的研 究,并创立了以他命名的著名概率模型——马尔可夫链． 经过世界各国几代数学家的相继努力,马尔可夫过程已成为内 容十分丰富,理论上相当完整,应用非常广泛的一门数学分支. 应用领域涉及计算机、通讯、自动控制、随机服务、可靠性、 生物、经济、管理、气象、物理、化学等. 随机过程—— 西安电子科技大学数学系冯海林 本章内容 马尔可夫链的定义 马尔可夫链的概率分布 齐次马尔可夫链的状态分类 转移概率的极限与平稳分布 随机过程—— 西安电子科技大学数学系冯海林 离散时间马尔可夫链的定义 定义6. 1.1 X= {X n ,n ≥0}是定义在概率空间(Ω, F , P )上 的随机过程，状态空间为可数集合S，如果对任意的 0, 以及 , , , ， , 有 n ≥