随机过程10讲解.pptVIP

第十章 马尔可夫链 马尔可夫链的概念和转移概率矩阵 齐次马尔可夫链的有限维分布 多步转移概率的确定 齐次马尔可夫链的遍历性 §10.1 马尔可夫链的基本概念 定义1：随机过程{Xn, n≥0}如果满足以下条件,则称之为马尔可夫链，简称马氏链： (1) {Xn, n≥0}的状态空间 I={x0,x1,…,xn,…}为可数集； (2) 对一切的n≥0和所有的 x, x0, x1, …, xn∈I都有 (1)式称为马尔可夫条件（无后效性） 注1：马尔可夫性的意义：未来的分布只与现在时刻有关， 与历史无关。 例1. 直线上的随机游动 (1)无限制随机游动：设质点0时刻的位置是原点，质点每 一个单位时间移动一格，左移和右移的概率分别是 p和 q=1-p,且各次移动独立，Xn表示 n 时刻质点的 位置，则{Xn, n≥0}是一马尔科夫链。 转移概率 pi,i-1=p, pi,i+1=q, 其余 pij=0. （2）带反射壁的随机游动：设随机游动限制在S={0,1,…,b} 上，质点到达0或 b 时，下一步以概率1移动到1或 b-1,即 p01=1, pb,b-1=1. （3）带吸收壁的随机游动:则质点移动到0或b就永远停留 在那里，即p00=1, pbb=1. 注2：定义中(1)式与下列等式等价