Markov过程(随机过程报告).docVIP

随机过程课程报告 ——离散Markov链（李继刚） 考虑一个随机过程，我们假设随机变量的取值在某个集合中, 则集合称为状态空间. 独立随机试验模型最直接的推广就是Markov模型. 粗略地说, 一个随机过程如果给定了当前时刻的值, 未来的值不受过去的影响就称为是有Markov性. 如果一个过程具有Markov性, 则称该过程为Markov过程. 特别地, 当状态空间S为至多可列集时, Markov过程称为Markov链. 对于Markov链, 当指标集T是非负整数时, 称为离散时间Markov链; 当指标集T是连续时间时, 称为连续时间Markov链. 在本文中，主要讨论有关时间离散的Markov链的性质，有关Markov链的概念等。 Markov性质 随机序列称为Markov链，如果这些随机变量都是离散的，而且对于及任意状态，都有 这个性质就称为Markov性质。 这条性质也就是说，如果过程在时刻处于状态，那么不管它以前处于什么状态，过程以后处于什么状态的概率是一样的。这就说明了，Markov链在已知“现在”的条件下，“将来”与“过去”是条件独立的。 此外，对于Markov链及及任意状态，有 对状态空间上的任意有界实值函数有 二、概率转移矩阵 记 并定义无穷矩阵