[理学]中南大学随机过程第七章.pptVIP

计算机科学与工程学院　顾小丰 随机过程与排队论 数学科学与计算技术学院 胡朝明 Email：math_hu2000@csu.edu.cn * 上一讲内容回顾 马尔可夫过程 马尔可夫过程的概念 马尔可夫过程的分类 离散参数马氏链 k步转移概率、 k步转移矩阵 齐次马尔可夫链 本讲主要内容 离散参数马氏链 齐次马氏链的性质链 初始分布、绝对分布、极限分布 遍历性 平稳性 §3.2 离散参数马氏链 状态空间E和参数集T都是离散的马尔可夫过 程称为离散参数马氏链，简称马氏链。即 k步转移概率 设{X(n),n=0,1,2,…}为马氏链，E={0,1,2, …}，称条件概率 pij(m,k)＝P{X(m+k)=j|X(m)=i} 为马氏链{X(n),n=0,1,…}在m时刻的k步转移概率. k步转移矩阵 称矩阵 齐次马尔可夫链 若马氏链{X(n),n=0,1,2,…}的转移概率pij(m,k)与m 例1 贝努里序列 如上节例2所述，贝努里序列是一个齐次马氏链，其转移矩阵为 例2 随机游动 一质点在数轴上的整数点上作随机游动的， 以X(n)表示时刻n质点的位置。质点在某一时刻m 时处于状态i，即X(m)=i，则下一步以概率q左移 到状态i-1，即pi,i-1(m,1)=q；而以概率p右移到状 态i+1，即pi,i+1(m,1)=p。因而质点将来所处的状 态X(m+1),X(m+2),…,X(m+k)等仅与现在所处的 状态X(m)=i有关，而与过去所处的状态无关。因 此，随机游动{X(n),n=0,1,2,…}是齐次马氏链。 随机游动的统计特征由它在边界的特点决定， 下面给出几种特殊的情形。 1.自由(无限制)随机游动 状态空间E＝{…,-2,-1,0,1,2,…}两端无限 制。转移概率： pi,i-1＝q，pi,i+1＝p，其余pi,j＝0，j?i-1,i+1 2.两个吸收壁随机游动 状态空间E＝{1,2,3,4,5}。转移概率 p11＝p55＝1；p1j＝0，j?1；p5j＝0，j?5； pi,i-1＝q，pi,i+1＝p，i=2,3,4； pi,j＝0，j?i-1,i+1。 质点运动到1,5时，永远留在那里，称状态1,5为 吸收壁(状态)。 3.带有两个反射壁的随机游动 状态空间E＝{1,2,3,4,5}。转移概率： p11＝0，p12＝1，p1j＝0，j=3,4,5； p55＝0，p54＝1，p5j＝0，j=1,2,3； pi,i-1＝q，pi,i+1＝p，i=2,3,4； pij＝0，j?i-1,i+1，i=2,3,4。 状态1和5永远不能停留，称为反射壁。 3.带有两个弹性壁的随机游动 状态空间E＝{1,2,3,4,5}。转移概率： p11＝q，p12＝p，p1j＝0，j=3,4,5； p55＝p，p54＝q，p5j＝0，j=1,2,3； pi,i-1＝q，pi,i+1＝p，i=2,3,4； pij＝0，j?i-1,i+1，i=2,3,4。 状态1和5称为弹性壁。 齐次马氏链的性质1 齐次马氏链{X(n),n=0,1,2,…}的转移概率pij(k)满足C-K方程(Chapman-Kolmogrov)。 齐次马氏链的性质2 齐次马氏链{X(n),n=0,1,2,…}的n步转移矩阵等于一步转移矩阵的n次方，即：P(n)＝Pn。 齐次马氏链的性质3 给定齐次马氏链{X(n),n=0,1,2,…}，称 pi＝P{X(0)=i} i?E， 即X(0)概率分布，为齐次马氏链的初始分布。 其中0?pi?1,i?E且 ＝1，记 齐次马氏链的性质4 齐次马氏链的有限维分布由初始分布和转移概率确定，且满足 遍历性、极限分布 设{X(n),n=0,1,2,…}为齐次马氏链，如果对 齐次马氏链的性质5 设齐次马氏链{X(n),n=0,1,2,…}的状态空间 推论 设齐次马氏链{X(n),n=0,1,2,…}具有遍历性，则 齐次马氏链的性质6 设{X(n),n=0,1,2,…}为齐次马氏链，若存在一个分 齐次马氏链的性质7 设{X(n),n=0,1,2,…}的平稳分布为{vj,j?E}，则有 V＝VPn， n=0,1,2,… 齐次马氏链的性质8 如果齐次马氏链{X(n),n=0,1,2,…}的初始分布{pj,j?E}恰好是平稳分布，则对一切n有 pj(n)＝pj， n=0,1,2,…，j?E 即 重要推论 设齐次马氏链{X(n),n=0,1,2,…}的状态空间有 齐次马氏链例3 在传送数字0和1的通讯系统中，每一传送数字必须经过若干级。第i级正确传送的概率为pi，X(0)表示进入系统第一级的数字，X(n)表示离开通讯系统第n级的数字。{X(n)，n=0,1,2,…}是状态空间E＝{0,1