随机过程10讲解.ppt

第十章 马尔可夫链 马尔可夫链的概念和转移概率矩阵 齐次马尔可夫链的有限维分布 多步转移概率的确定 齐次马尔可夫链的遍历性 §10.1 马尔可夫链的基本概念 定义1：随机过程{Xn, n≥0}如果满足以下条件,则称之为马尔可夫链，简称马氏链： (1) {Xn, n≥0}的状态空间 I={x0,x1,…,xn,…}为可数集； (2) 对一切的n≥0和所有的 x, x0, x1, …, xn∈I都有 (1)式称为马尔可夫条件（无后效性） 注1：马尔可夫性的意义：未来的分布只与现在时刻有关， 与历史无关。 例1. 直线上的随机游动 (1)无限制随机游动：设质点0时刻的位置是原点，质点每 一个单位时间移动一格，左移和右移的概率分别是 p和 q=1-p,且各次移动独立，Xn表示 n 时刻质点的 位置，则{Xn, n≥0}是一马尔科夫链。 转移概率 pi,i-1=p, pi,i+1=q, 其余 pij=0. （2）带反射壁的随机游动：设随机游动限制在S={0,1,…,b} 上，质点到达0或 b 时，下一步以概率1移动到1或 b-1,即 p01=1, pb,b-1=1. （3）带吸收壁的随机游动:则质点移动到0或b就永远停留 在那里，即p00=1, pbb=1. 注2：定义中(1)式与下列等式等价： 注3：状态空间不失一般性，可假定为 I={0,1,2,…} 此时,{Xn=i}表示马尔可夫链“第n步（n时刻）处于第 i 个状态”或称为“第n步有值 i”。 定义2：设{Xn,n≥0}是一马尔可夫链，称  pij(m,m+n)=P(Xm+n=j|Xm=i) (任意的i,j∈I) 为马氏链{Xn,n≥0}的n步转移概率。 由pij(m,m+n)组成的矩阵P(m,m+n)=(pij(m,m+n))称为{Xn,n≥0}的n步转移概率矩阵。 例2、甲袋中有k只白球，1只黑球；乙袋中有k+1只白球 (k≥1)，现每隔单位时间从各袋中任取一球进行交换 (Δt =1)，令 则{Xn , n≥0}为一马尔可夫链； 求其一步转移概率矩阵。 特别的，n=1时，一步转移概率记为：pij 一步转移概率矩阵记为： P=P(1)=(pij) 即： 此时，n步转移概率记为：pij(m,m+n)=pij(n)，（n=1,2,…） n步转移概率矩阵记为：P(m,m+n)=P(n)=(pij(n)) 性质2、设{Xn,n≥0}是齐次马氏链,P(n)= (pij(n))是其n步 转移概率矩阵，则有： (1)pij(n)≥0 (任意的i,j∈I) 性质1、设{Xn,n≥0}是一马氏链，若对一切的 m ≥0 和 i, j∈I,有 P(Xm+1=j|Xm=i)=P(X1=j|X0=i)， 则{Xn,n≥0}是齐次的马尔可夫链。 例3、街道一边有n+1个房间，在每个房间做标号，从0到n： n号为酒馆，0号为醉汉住的房间。醉汉喝完酒准备回 家作为起始时刻，每隔单位时间移动一次，且仅移动 一个房间，每次移动时以等可能向左、向右移动，在 酒馆中(起始时刻)仅向右移，回到家中不动。 令Xm=i 表示醉汉在m时刻处于第i个房间中(其中i=0,1, …,n)；则{Xm,m≥0}为一马尔可夫链,并求其一步转移概率矩阵。 例4.盒子中有编号为 1,2,…,N 的N个球，有放回抽取， Xn表示前 n 次取得的最大号码，证明{Xn, n≥1}是一 个齐次马氏链，求其一步转移概率；求其 n 步转移 概率。 §10.2 齐次马尔可夫链的有限维分布 定义：设{Xn, n≥0}是一齐次马尔可夫链，其状态空间 I={0,1,2,…}；对任意时刻n≥0，称离散型随机变量Xn 的分布律 P(Xn=j)=pj 为齐次马尔可夫链{Xn, n≥0}的一 维分布律，记为 p(n)=( p0(n), p1(n), …, pj(n),…)；特别X0 的分布律 p(0)=( p0(0), p1(0), …, pj(0), …) 称为初始分布。 定理1：设{Xn,n≥0}是齐次马尔可夫链，其初始分布为 p(0)=( p0(0), p1(0), …, pj(0), …)；n 步转移概率矩 阵为 P(n)＝( pij(n) )，则对任意时n(n≥1),