预测与决策教程 教学课件 作者 李华 Chap6-马尔可夫预测.pptVIP

可以证明，此时， 即，无限时段单位时间平均报酬与初始状态无关，均为 马尔可夫预测的应用 如将钱存于银行，年息为 ，则 与 有如下关系： 在现实生活中，今年的一元钱将大于明年的一元钱，即，明年的一元钱折算到现在计算，就不值一元钱了，如为 ，这个 就称为折扣因子。 实际上，在企业管理中当考虑贷款、折旧等时都必须考虑到钱的增值问题。 3．无限时段期望折扣总报酬 马尔可夫预测的应用 对有报酬的马氏链，定义从状态 出发的无限时段期望折扣总报酬为 马尔可夫预测的应用 对有报酬的马氏链，定义从状态 出发的无限时段期望折扣总报酬为 马尔可夫预测的应用 于是， 对有报酬的马氏链，定义从状态 出发的无限时段期望折扣总报酬为 马尔可夫预测的应用 于是， 记 则 称 为具有报酬的马氏链的三种目标函数。利用其中的任一个目标函数，可以讨论不同策略的优劣。 马尔可夫预测的应用 马尔可夫预测的应用 例6.4 最佳维修策略的选择。研究一化工企业对循环泵进行季度维修的过程。每次检查中，把泵按其外壳及叶轮的腐蚀程度定为五种状态中的一种。这五种状态是： 状态1：优秀状态，无任何故障或缺陷； 状态2：良好状态，稍有腐蚀； 状态3：及格状态，轻度腐蚀； 状态4：可用状态，大面积腐蚀； 状态5：不可运行状态，腐蚀严重。 称 为具有报酬的马氏链的三种目标函数。利用其中的任一个目标函数，可以讨论不同策略的优劣。 该公司可采用的维修策略有以下几种： 单状态策略：泵处于状态5时才进行修理，每次修理费用为500元。 两状态策略：泵处于状态4和5时进行修理，处于状态4时的修理费用每次为250元, 处于状态5时的每次修理费用为500元。 三状态策略：泵处于状态3,4,5时进行修理，处于状态3时的每次修理费用为200元,处于状态4和5时的修理费用同前。 目前，该公司采用的维修策略为“单状态”策略。 假定不管处于何种状态，只要进行修理，泵的状态都将恢复为状态1。已知在不进行任何修理时的状态转移概率，如下表所示。 马尔可夫预测的应用 问题：确定哪个策略的费用最低。目标为长期运行单位时间平均报酬。 马尔可夫预测的应用 泵在周期 n的状态 泵在周期n+1的状态 1 2 3 4 5 1 0.00 0.60 0.20 0.10 0.10 2 0.00 0.30 0.40 0.20 0.10 3 0.00 0.00 0.40 0.40 0.20 4 0.00 0.00 0.00 0.50 0.50 5 0.00 0.00 0.00 0.00 1.00 需知 r 和 . 不维修时的状态转移概率矩阵： 马尔可夫预测的应用 泵在周期 n的状态 泵在周期n+1的状态 1 2 3 4 5 1 0.00 0.60 0.20 0.10 0.10 2 0.00 0.30 0.40 0.20 0.10 3 0.00 0.00 0.40 0.40 0.20 4 0.00 0.00 0.00 0.50 0.50 5 0.00 0.00 0.00 0.00 1.00 单状态策略下： 马尔可夫预测的应用 单状态策略下： 马尔可夫预测的应用 解得： 单状态策略下： 马尔可夫预测的应用 解得： 与 无关。 从而 两状态策略下： 马尔可夫预测的应用 两状态策略下： 马尔可夫预测的应用 解得： 从而 三状态策略下： 马尔可夫预测的应用 三状态策略下： 马尔可夫预测的应用 从而 单状态策略下： 两状态策略下： 三状态策略下： 因此，两状态策略为最优策略，平均每周期的费用为90.50元。 马尔可夫预测的应用 马尔可夫预测的应用 案例6-2 某影像器材公司存储了一种特殊的照相机，这种照相机每周都会被订购。假设D1，D2，…分别代表第一周，第二周，…的相机需求量（如果库存不为空的话，该产品将会被售出），则随机变量Dt（t=1，2，…）取值等于第t周被卖出去的相机数量（如果库存足够的话。如果库存不够，则该值还包括损失的数量）。 假设Dt是一个满足均为1的泊松分布的随机变量。X0表示相机的初始数量，X1表示第一周周末相机的数量，X2表示第二周周末相机的数量等。随机变量Xt（t=0，1，2，…）的取值等于在第t周周末相机的数量。 马尔可夫预测的应用 假设X0=3，则表示第一周该公司拥有此类相机的数量为3。 {Xt}={X0,X1,X2, …}也是一个随机过程，随机变量Xt表示在时刻t系统的状态。我们将基于一下的订购策略向大家介绍该随机过程时间变化的过程： 在t周周末（周六晚），公司都需要制作下周一将要提交的订购单。公司使用如