第8讲第4章马尔科夫链3.ppt

那么初始分布： 转移频数阵： 频数阵的第1，2，3行非别除以480，320，800，得转移概率阵： 第25页/共41页 市场平稳后，格产品的市场占有率即平稳分布。 9月份市场占有率 12月份市场占有率 解得 市场平稳后，甲乙丙产品占市场的份额分别为：21.9%,15.6%,62.5% 第26页/共41页 例4： 设农用拖拉机站每季度对拖拉机进行一次检查和维修。根据零件磨损程度将拖拉机分为5类： 状态 1 2 3 4 5 运行效率（%) 90-100 75-89 60-74 40-59 不运行 当拖拉机处于1，2，3，4，5时，估计一季度可获利润分别为5000、4000、3000、2000和0元。根据过去的资料，拖拉机的磨损状态的自然转移概率阵为： 第27页/共41页 有3种维修策略，分别是：处于状态5时维修，处于状态4，5时维修，处于状态3，4，5时维修，处于状态3时维修，修理费用平均要300元，处于状态4时维修，修理费用平均要500元，处于状态5时维修，修理费用平均要1000元。问，从长远考虑，为了得到更多的利润，哪种维修策略最好？ 第28页/共41页 解：对于第一种大修策略，处于状态5时维修，转移概率阵为 的极限分布 由 解得 平均利润 平均维修费用： 平均净利润: 2722-199=2523 第29页/共41页 对于第二种大修策略，转移概率阵为 由 解得 平均利润 平均维修费用： 平均净利润: 2998-181=2817 =2998.6 第30页/共41页 对于第三种大修策略，转移概率阵为 由 解得 平均利润 平均维修费用： 平均净利润: 3539-169.5=3369.5 =3539 第31页/共41页 所以第三种大修策略好，即在每年的检修中，发现拖拉机到了3，4或5状态，就要及时大修。 第32页/共41页 四、一般可约马氏链P中的 分析 对于不可约马尔科夫链，通过平稳分布比较好地解决了的极限分布 问题。 对于一般可约马氏链，需要先对马氏链的状态空间进行分解，然后再讨论 设状态空间分解为： 一般可约马氏链P中的 分析 第33页/共41页 解 对应的平稳分布即得 ： （3) 则利用下面的方法求极限： 第34页/共41页 1 2 3 4 6 5 例5 马氏链的概率转移图所示，分析转移概率极限: d=2, 不存在 0.3 1 0.1 0.1 0.4 0.1 1 1 1 0.5 0.5 (用平稳分布求解） d=1 第35页/共41页 例6：设马尔科夫链的转移概率矩阵为 （1）求每一个不可约闭集的极限分布（2）求 解（1）：这是一个可约马氏链。根据状态空间的分解 定理，状态空间分解为： 第36页/共41页 其中 是非常返集 对应的转移概率矩阵为 得其平稳分布： 由方程组 ： 1 2 3 4 6 5 7 是常返闭集，非周期 第37页/共41页 对应的转移概率矩阵为 得其平稳分布： 第38页/共41页 解（2）： 由于 故从上式可解得： 1 2 3 4 6 5 7 第39页/共41页 注： 前面的关于Markov链的极限研究中知道， 有时不存在， 但事实上，此时的 依然存在，并有一般结论： （见本章定理4.15） 特别： 第40页/共41页 上式的概率解释： 为状态i的平均返回时间， 就表示j在单位时间内的平均返回次数 而 表示自i出发在前n步返回i的平均次数， 内返回i的平均次数 就表示马氏链自状态i出发单位时间 所以有： 第41页/共41页 华北电力大学数理学院 何凤霞 华北电力大学数理学院 何凤霞 华北电力大学数理学院 何凤霞 华北电力大学数理学院 何凤霞 华北电力大学数理学院 何凤霞 华北电力大学数理学院 何凤霞 华北电力大学数理学院 何凤霞 1 2 3 4 1 1 1 0.8 0.2 例如：从下面状态空间为I={1,2,3,4}的马尔科夫链的转移概率图可以看到 {2,3}是一个闭集 {2,3}对应的子矩阵(粉色部分） 是随机矩阵。 注意到：{2,3，4}也是闭集 {2,3，4}对应的子矩阵（绿色部分） 也是随机矩阵。 第1页/共41页 1 2 3 4 1 1 1 0.8 0.2 但是闭集{2,3}中的两个状态互通 而闭集{2,3，4}中的3个状态不是互通的。3不可达4。 同样I={1，2,3，4}也可以看做闭集， 但其中的的4个状态不是互通的。 为区别状态子集的这种不同特点，引入不可约子集的概念： 第2页/共41页 定义：若C为状态空间I的闭子集，且C中任意两个状态互通，则称C是I的不可约闭集； 特别：若Markov链I的任意两个状态互通，则称该Markov链是不可