《概率与数理统计》第10章-马尔可夫链.pptxVIP

第十章马尔可夫链第一节马尔可夫链的概念及转移概率第二节多步转移概率的确定第三节马氏链的有限维分布第四节遍历性

第一节

马尔可夫链的概念及转移概率

下面我们只讨论齐次马氏链，并习惯上常将“齐次”两字省略。第一章节

其状态空间为：而且当时，等以后的行为只与有关，而与质点以前是如何到是完全无关的，所以，它是一个马氏链，且为齐次马氏链。

称其为具有两个反射壁的随机游动

01若令表示质点在时刻的位置，那末，是一个随机过程，而且当时，等以后的行为只与有关，而与质点以前是如何到是完全无关的，所以，它是一个马氏链。其状态空间为：例：一维随机游动。考虑在直线上作随机游动的质点，且只在非负整数上作随机游动。当质点在时刻时处在位置，在时刻转移到的概率为，转移到的概率为，不动的概率为，而处在别的位置的概率为0。

这里由于它的转移概率与起点无关，所以它还