马尔科夫链例题整理.ppt

若表示质点在时刻n所处的位置，分析它的概率特性。例1直线上带吸收壁的随机游动（醉汉游动）设一质点在线段[1，5]上随机游动，每秒钟发生一次随机游动，移动的规则是：（1）若移动前在2，3，4处，则均以概率向左或向右移动一单位；（2）若移动前在1，5处，则以概率1停留在原处。质点在1，5两点被“吸收”12345前言：马尔可夫过程的描述分类1

首页无记忆性未来处于某状态的概率特性只与现在状态有关，而与以前的状态无关，这种特性叫无记忆性（无后效性）。例4布朗运动2

若表示质点在时刻n所处的位置，求一步转移概率。引例例1直线上带吸收壁的随机游动（醉汉游动）设一质点在线段[1，5]上随机游动，每秒钟发生一次随机游动，移动的规则是：（1）若移动前在2，3，4处，则均以概率向左或向右移动一单位；（2）若移动前在1，5处，则以概率1停留在原处。质点在1，5两点被“吸收”12345一步转移概率矩阵的计算3

首页有两个吸收壁的随机游动其一步转移矩阵为状态空间I={1，2，3，4，5}，参数集T={1，2，3，………}，4

例2．带有反射壁的随机游动设随机游动的状态空间I={0，1，2，…}，移动的规则是：（1）若移动前在0处，则下一步以概率p向右移动一个单位，以概率q停留在原处（