中南大学随机过程七.pptVIP

计算机科学与工程学院　顾小丰 随机过程与排队论 数学科学与计算技术学院 胡朝明 Email：math_hu2000@csu.edu.cn * 上一讲内容回顾 马尔可夫过程 马尔可夫过程的概念 马尔可夫过程的分类 离散参数马氏链 k步转移概率、 k步转移矩阵 齐次马尔可夫链 本讲主要内容 离散参数马氏链 齐次马氏链的性质链 初始分布、绝对分布、极限分布 遍历性 平稳性 §3.2 离散参数马氏链 状态空间E和参数集T都是离散的马尔可夫过 程称为离散参数马氏链，简称马氏链。即 k步转移概率 设{X(n),n=0,1,2,…}为马氏链，E={0,1,2, …}，称条件概率 pij(m,k)＝P{X(m+k)=j|X(m)=i} 为马氏链{X(n),n=0,1,…}在m时刻的k步转移概率. k步转移矩阵 称矩阵 齐次马尔可夫链 若马氏链{X(n),n=0,1,2,…}的转移概率pij(m,k)与m 例1 贝努里序列 如上节例2所述，贝努里序列是一个齐次马氏链，其转移矩阵为 例2 随机游动 一质点在数轴上的整数点上作随机游动的， 以X(n)表示时刻n质点的位置。质点在某一时刻m 时处于状态i，即X(m)=i，则下一步以概率q左移 到状态i-1，即pi,i-1(m,1)=q；而以概率p右移到状 态i+1，即pi,i+1(m,1)=p。因而质点将来所处的状 态X(m+1),X(m+2