随机过程与排队论08要点.ppt

* * * * * * * * * * * * * 计算机科学与工程学院　顾小丰 37－* 齐次马氏链例4(续3) (4)有限维分布 P{X(1)=1,X(2)=2,X(4)=1} ＝P{X(1)=1}·P{X(2)=2|X(1)=1}·P{X(4)=1|X(1)=1,X(2)=2} =P{X(1)=1}·p12·p21(2) P{X(2)=2,X(4)=2|X(1)=1} ＝P{X(2)=2|X(1)=1}·P{X(4)=2|X(1)=1,X(2)=2} =p12·p22(2) * 计算机科学与工程学院　顾小丰 37－* 齐次马氏链例5 若顾客的购买是无记忆的，即已知顾客现在的购买情况，顾客将来购买的情况不受过去历史购买的影响，而只与现在的购买情况有关。现在市场上供应A、B、C三个不同厂生产的50克袋装味精。X(n)=1、X(n)=2、X(n)=3分别表示顾客第n次购买A、B、C厂的味精。 {X(n)，n=1,2,3,…}是一个齐次马氏链，状态空间E＝{1,2,3}。 若已知第一次顾客购买三个厂味精的概率分布，即初始分布 P1＝(P{X(1)=1},P{X(1)=2},P{X(1)=3})＝(0.2,0.4,0.4) 又知道一般顾客的购买倾向——转移矩阵 ～ * 计算机科学与工程学院　顾小丰 37－* 齐次马氏链例5(续1) 顾客第二次购买各厂味精的概率 求第1次购买各厂味精的顾客，经过3次购买，第4次购买各厂味精的概率 * 计算机科学与工程学院　顾小丰 37－* 齐次马氏链例5(续2) 预测经过长期多次购买之后，顾客购买倾向—各厂味精市场占有率 因pij0，i,j?E，故为遍历的马氏链，其极限分布等于平稳分布 解得平稳分布 * 计算机科学与工程学院　顾小丰 37－* 本讲主要内容 离散参数马氏链 齐次马氏链的性质链 初始分布、绝对分布、极限分布 遍历性 平稳性 * 计算机科学与工程学院　顾小丰 37－* 下一讲内容预告 齐次马氏链状态的分类 互通 首达 常返与非常返 正常返与零常返 状态空间分解 不可约马氏链 状态的周期性 * 计算机科学与工程学院　顾小丰 37－* P153—154 10. 19. 习　题　四 * * * * * * * * * * * * * * * * * * * * * * * * * 计算机科学与工程学院　顾小丰 随机过程与排队论 计算机科学与工程学院 顾小丰 Email：guxf@uestc.edu.cn * * 计算机科学与工程学院　顾小丰 37－* 上一讲内容回顾 马尔可夫过程 马尔可夫过程的概念 马尔可夫过程的分类 离散参数马氏链 k步转移概率、 k步转移矩阵 齐次马尔可夫链 * 计算机科学与工程学院　顾小丰 37－* 本讲主要内容 离散参数马氏链 齐次马氏链的性质链 初始分布、绝对分布、极限分布 遍历性 平稳性 * 计算机科学与工程学院　顾小丰 37－* §3.2 离散参数马氏链 状态空间E和参数集T都是离散的马尔可夫过 程称为离散参数马氏链，简称马氏链。即 设{X(n),n=0,1,2,…}为随机序列，状态空间 E={0,1,2,…}。如果对于任意非负整数k、n1 n2…njm及in1,in2,…inj,im,im+k?E马尔可夫性 P{X(m+k)=im+k|X(n1)=in1, X(n2)=in2,…,X(nj)=inj,X(m)=im} ＝P{X(m+k)=im+k|X(m)=im} 成立，则称{X(n),n=0,1,2,…}为离散参数马尔可夫链，简称马氏链。 * 计算机科学与工程学院　顾小丰 37－* k步转移概率 设{X(n),n=0,1,2,…}为马氏链，E={0,1,2, …}，称条件概率 pij(m,k)＝P{X(m+k)=j|X(m)=i} 为马氏链{X(n),n=0,1,…}在m时刻的k步转移概率. k步转移概率的直观意义是：质点在时刻m时处于状态i，再经过k步(k个单位时间)处于状态j的条件概率。 特别地，k=1时， pij(m,1)＝P{X(m+1)=j|X(m)=i} 称为一步转移概率，简称转移概率。 * 计算机科学与工程学院　顾小丰 37－* k步转移矩阵 称矩阵 为马氏链{X(n),n=0,1,…}在m时刻的k步转移矩阵。一步转移矩阵P(m,1)简称转移矩阵。 由转移概率的定义，显然有： * 计算机科学与工程学院　顾小丰 37－* 齐次马尔可夫链 若马氏链{X(n),n=0,1,2,…}的转移概率pij(m,k)与m 无关，即 pij(m,k)＝P{X(m+k)=j|X(m)=i}＝pij(k)； pij(m,1)＝P{X(m+1)=j|X(m)=