预测与决策教程（第2版）课件：马尔可夫预测方法.pptx

主要内容：马尔可夫预测的基本原理

马尔可夫预测的应用;5.1马尔科夫预测的基本原理知识点1：马尔可夫链;背景案例;马尔可夫（A.A.Markov）是俄国数学家。二十世纪初，他在研究中发现自然界中有一类事物的变化过程仅与事物的近期状态有关，而与事物的过去状态无关。具有这种特性的随机过程称为马尔可夫过程。;一、马尔可夫链;设有一离散型随机过程，它在时刻所有可能处于的状态的集合为;在荷花池中有N张荷叶，编号为1，2，……，N。假设有一只青蛙随机地从这张荷叶上跳到另一张荷叶上。青蛙的运动可看作一随机过程。在时刻t，青蛙所在的那张荷叶，称为青蛙所处的状态。那么，青蛙在未来处于什么状态，只与它现在所处状态有关，与它以前在哪张荷叶上无关。此过程就是一个马尔可夫链。;当系统由一种状态变为另一种状态时，我们称之为状态转移。;再引入几个概念：;初始状态概率向量;定义6k步状态转移概率，k步状态转移概率矩阵;【案例6-1】

Centerville小镇的天气每天都在变化。如果今天是晴天，则明天出现晴天的可能性就比今天是雨天明天出现晴天的可能性大。如果今天是晴天，则明天也是晴天的概率为0.8。而今天是雨天，则明天是晴天的概率为0.6。即使考虑了今天之前所有各天的气象情况，这个概率值也不会发生改变。

Centerville小镇的天气变化可看作一个随机过程{Xt}。从某天开始（这一天被记为第0天），连续记录随后每一天（第t天）的气象状况，t=0,1,2,…,第t天系统的状态可能为1(代表第t天为晴天)，也可能为2(代表第t天为雨天)。因此，对于，t=0,1,2,…，随机变量Xt可表示为：;因此，随机过程{Xt}={X0,X1,X2,…}是一种描述Centerville小镇气象状况随时间变化的数学表达式。;又，由于第二天的天气情况不受今天之前天气情况的影响，因此，该随机过程具有马尔可夫属性，该过程为马尔可夫链。;以一个月为单位，经观察统计，知其从某个月份到下月份，机床出现故障的概率为0.3。在这一段时间内，故障机床经维修恢复到正常状态的概率为0.9。;两步状态转移概率：;一般地，两步转移概率可以由一步转移概率得到：;（全概率公式）;回到例5.1.如已知初始概率向量，比如;;;如已知齐次马尔可夫链的转移矩阵以及初始状态概率向量，则任一时刻的状态概率分布也就确定了。;马尔科夫链：离散的、状态有限、状态仅与上期有关的随机过程。;k步状态转移概率，k步状态转移概率矩阵;初始状态概率向量;案例;3天，4天或5天后的气象状态转移概率可通过计算3步、4步和5步转移矩阵得到。;注意：在5步转移矩阵中有一个十分有趣的现象，即该矩阵两行的值完全一样，这表明5天之后的气象状态的概率与5天前的气象状态无关。因此，这个5步转移矩阵中每行的概率被称为该马尔可夫链的平稳概率。;知识点3：稳态概率矩阵;问题：当不断增大时，的变化趋势？;1.平稳分布;;2.稳态分布;则称为稳态分布。;令，得;;，仅当且时。又，由定义可知

是不可约的。;;【小结】;主要内容：马尔可夫预测的基本原理

马尔可夫预测的应用;5.2马尔科夫预测的应用;;马尔可夫预测是利用某一系统的现在状况及其发展动向去预测系统未来状况的一种预测方法。;公司A、B、C是美国中西部地区三家主要灭虫剂生产商。根据历史资料得知，三家公司产品的市场占有率分别为50%，30%，20%。由于C公司实行了改善销售与服务的经营管理决策，使其产品销售额逐期稳定上升，而A公司却在下降。通过市场调查发现三个公司间的顾客流动情况如表所示。其中产品销售周期是季度。;;未来各期的市场占有率：;稳态市场占有率;A公司的最佳经营策略;;乙方案争取策略，挖客户。;;;一般地,设{Xn}是状态空间为S={1，2，...，N}的齐次马尔科夫链，其状态转移矩阵为：;1．有限时段期望总报酬;;对i∈S，定义初始状态为i的无限时段单位时间平均报酬为：;若所考虑的马尔可夫链存在平稳分布，由定义，;可以证明，此时，;在现实生活中，今年的一元钱将大于明年的一元钱，即，明年的一元钱折算到现在计算，就不值一元钱了，如为，这个就称为折扣因子。;对有报酬的马氏链，定义从状态i出发的无限时段期望折扣总报酬为;;该公司可采用的维修策略有以下几种：

单状态策略：泵处于状态5时才进行修理，每次修理费用为500元。

两状态策略：泵处于状态4和5时进