《随机过程教案-卢玉贞》第7讲 离散参数马氏链 4.3.pptxVIP

随机过程卢玉贞电话箱：dlyuzhen@大连海事大学数学系4.3 马尔科夫链转移概率的极限性质和平稳分布一、极限性质1.定理4.10 如j非常返或零常返，则证：若j非常返，则由定理4.7，从而；若j零返，则由定理4.7推论，大连海事大学数学系4.3马尔科夫链转移概率的极限性质和平稳分布一、极限性质推论1 有限状态的马氏链，不可能全是非常返状态，也不可能含有零常返状态，从而不可约的有限状态的马氏链必为正常返的。推论2 如马氏链有一个零常返状态，则必有无限多个零常返状态。2.若j是正常返，则有大连海事大学数学系4.3马尔科夫链转移概率的极限性质和平稳分布例4.16 已知马尔科夫链的状态空间I={1,2,3,4,5,6}转移矩阵（1）画出状态转移图；（2）研究各个状态的常返性；（3）对每个正常返状态j，求.大连海事大学数学系11261/311/3341/21/254.3马尔科夫链转移概率的极限性质和平稳分布一、极限性质例4.16状态转移图为 1/311大连海事大学数学系1261/31/31341/21/254.3马尔科夫链的极限性质和平稳分布一、极限性质1解：对状态{1,2}，不存在；对状态{5,6}，i=1,2…6对状态{3}，大连海事大学数学系14.3马尔科夫链的极限性质和平稳分布总结：一、极限性质大连海事大学数学系4.3马尔科夫链的极限性质和平稳分布二、平稳分布例 天气预报问题 考虑两个状态，有雨用0表示；无雨用1表示。已知一步概率转移矩阵为计算推测即为平稳分布大连海事大学数学系4.3马尔科夫链的极限性质和平稳分布二、平稳分布设 是齐次马尔科夫链，状态空间I，转移概率为.定义4.14 称概率分布 为马尔科夫链的平稳分布，若大连海事大学数学系4.3马尔科夫链的极限性质和平稳分布注： (1)若初始概率分布 是平稳分布，则在1时刻的绝对概率为同理 (2)对平稳分布，有矩阵形式其中大连海事大学数学系4.3马尔科夫链的极限性质和平稳分布二、平稳分布定理4.15 不可约非周期马尔科夫链是正常返的充要条件是存在平稳分布，且此平稳分布就是极限分布 推论1 有限状态的不可约非周期马尔科夫链必存在平稳分布 推论2 若不可约马尔科夫链的所有状态时非常返或零常返， 则不存在平稳分布。推论3 若 是马尔科夫链的平稳分布，则大连海事大学数学系4.3马尔科夫链的极限性质和平稳分布二、平稳分布例4.18 设马尔科夫链的转移概率矩阵为求马尔科夫链的平稳分布及各状态的平均返回时间。大连海事大学数学系4.3马尔科夫链的极限性质和平稳分布解：因为马尔科夫链是不可约非周期有限状态的，所以平稳分布存在，设 ，则 即各状态的平均返回时间为大连海事大学数学系4.3马尔科夫链的极限性质和平稳分布课堂思考作业练习1：求应用实例中的平稳分布表一 各保险公司某产品客户流动公司2011年1月客户得到失去2012年1月客户自A自B自C于A于B于CA2000352502020220B5002002035015490C3002015025200290大连海事大学数学系4.3马尔科夫链的极限性质和平稳分布解：假定A、B、C三个公司的客户占有率分别稳定在,即经过一年转移后市场客户占有率的变化微不足道，我们设它保持不变。因此有大连海事大学数学系4.3马尔科夫链的极限性质和平稳分布这样，求解上述线性方程组：大连海事大学数学系4.3马尔科夫链的极限性质和平稳分布课堂思考作业练习2：设有一个三状态{0,1,2}马尔科夫链，它的一步转移概率矩阵是 ，求马尔科夫链的平稳分布及各状态的平均返回时间。大连海事大学数学系4.3马尔科夫链的极限性质和平稳分布解：按照稳态分布的存在定理进行判断，三状态{0,1,2}的马尔科夫链存在稳态解。设极限分布是 ，它满足方程，即则极限分布是大连海事大学数学系4.3马尔科夫链的极限性质和平稳分布平稳分布定理4.16 设马氏链X的状态空间,其中D,N分别是非常返集，零常返集， 是不可分的正常返闭集，使得(1)X的平稳分布不存在(2)X的平稳分布存在且唯一 I中恰有一个不可分的正常 返闭集，即H=C；(3)X的平稳分布存在不唯一I中至少有两份额不可分的 正常返闭集，即大连海事大学数学系4.3马尔科夫链的极限性质和平稳分布例4.19 设马尔科夫链转移概率矩阵为画出状态转移图 求每一个不可约闭集的平稳分布。大连海事大学数学系4.3马尔科夫链的极限性质和平稳分布解：从状态转移图看出，状态空间可分解为两个不可约常返闭集