马尔可夫过程详解.ppt

* 可以证明： * 可以证明： 即，无限时段单位时间平均报酬与初始状态无关，均为 * 3．无限时段期望折扣总报酬 * 3．无限时段期望折扣总报酬 考虑资金的时间价值 * 3．无限时段期望折扣总报酬 如将钱存于银行，年息为 ，则 与 有如下关系： 考虑资金的时间价值 ，称 为折扣因子。 * 对有报酬的马氏链，定义从状态i 出发的无限时段期望折扣总报酬为 * 对有报酬的马氏链，定义从状态i 出发的无限时段期望折扣总报酬为 于是， * 对有报酬的马氏链，定义从状态i 出发的无限时段期望折扣总报酬为 于是， 记 则 * 称 为具有报酬的马氏链的三种目标函数。利用其中的任一个目标函数，可以讨论不同策略的优劣。 例6 最佳维修策略的选择。研究一化工企业对循环泵进行季度维修的过程。每次检查中，把泵按其外壳及叶轮的腐蚀程度定为五种状态中的一种。这五种状态是： 状态1：优秀状态，无任何故障或缺陷； 状态2：良好状态，稍有腐蚀； 状态3：及格状态，轻度腐蚀； 状态4：可用状态，大面积腐蚀； 状态5：不可运行状态，腐蚀严重。 * 该公司可采用的维修策略有以下几种： 单状态策略：泵处于状态5时才进行修理，每次修理费用为500元。 两状态策略：泵处于状态4和5时进行修理，处于状态4时的修理费用每次为250元, 处于状态5时的每次修理费用为500元。 三状态策略：泵处于状态3,4,5时进行修理，处于状态3时的每次修理费用为200元,处于状态4和5时的修理费用同前。 目前，该公司采用的维修策略为“单状态”策略。 假定不管处于何种状态，只要进行修理，泵的状态都将恢复为状态1。已知在不进行任何修理时的状态转移概率，如下表所示。 * 问题：确定哪个策略的费用最低。目标为长期运行单位时间平均报酬。 * 需知 r 和 P. 不维修时的状态转移概率矩阵： * 单状态策略下： * 单状态策略下： 解得： * 单状态策略下： 解得： 从而 * 两状态策略下： * 两状态策略下： * 两状态策略下： 解得： * 两状态策略下： 解得： 从而 * 三状态策略下： * 三状态策略下： * 三状态策略下： 解得： * 三状态策略下： 解得： 从而 * 单状态策略下： 两状态策略下： 三状态策略下： 因此，两状态策略为最优策略，平均每周期的费用为90.50元。 * 周期 1 的供应公司 公司 周期 0 的 顾客数 A B C A 5000 3500 500 1000 B 3000 300 2400 300 C 2000 100 100 1800 周期 1 的 顾客数 —— 3900 3000 3100 * 周期 1 的供应公司 公司 周期 0 的 顾客数 A B C A 5000 3500 500 1000 B 3000 300 2400 300 C 2000 100 100 1800 周期 1 的 顾客数 —— 3900 3000 3100 * 未来各期的市场占有率： * 未来各期的市场占有率： * 未来各期的市场占有率： * 未来各期的市场占有率： C——保销政策。C的市场份额不断增大。是否可以持续下去？ * 稳态市场占有率 * 稳态市场占有率 * 稳态市场占有率 解得 * * 上述结果对A厂不利。A厂制定两套方案： * 上述结果对A厂不利。A厂制定两套方案： 甲方案 保留策略，拉住老顾客。 * 上述结果对A厂不利。A厂制定两套方案： 甲方案 保留策略，拉住老顾客。 * 新的平衡状态下Ａ、Ｂ、Ｃ三公司的市场占有率分别为31.6％，26.3％，42.1％，Ａ公司的市场占有率从17.65％提高到31.6％。 * 新的平衡状态下Ａ、Ｂ、Ｃ三公司的市场占有率分别为31.6％，26.3％，42.1％，Ａ公司的市场占有率从17.65％提高到31.6％。 乙方案 争取策略，挖客户。 * 新的平衡状态下Ａ、Ｂ、Ｃ三公司的市场占有率分别为31.6％，26.3％，42.1％，Ａ公司的市场占有率从17.65％提高到31.6％。 乙方案 争取策略，挖客户。 在新的平衡状态下，Ａ、Ｂ、Ｃ三家公司的市场占有率分别为33.3％，22.2％，44.5％。 * 二、期望利润预测 * 二、期望利润预测 设 是状态空间为 的齐次马氏链，其转移矩阵为