第5章 时间离散的Markov 链.pdf

龚光鲁，钱敏平著 应用随机过程教程及其在算法与智能计算中的应用 清华大学出版社,2003 第5 章 时间离散的Markov 链 1Markov链的概念 1.1定义与Markov性质 定义５.１ 随机过程可能取到的值(状态)组成的集合记为S ,称为随机过程的状态 空间. 随机序列{xn : n 0}称为Markov链, 如果这些随机变量都是离散的 (状态空间S 至多是一个可数集, 即或者S 是有限集, 或者S 可与自然数一一对应), 而且对于 n 0 及任意状态i, j ,i , L, i , 都有 0 n 1 P(x j |x i,x i , L,x i ) P(x j |x i) . (5. 1) n 1 n n 1 n1 0 0 n 1 n 这个性质称为Markov 性质. Markov 性的等价性质1