第11讲-序贯策分析001.pptVIP

§8.1 多阶段决策 8.1.1　多阶段决策问题 8.1.2　多阶段决策方法及其应用实例 §8.2　马尔可夫决策 8.2.1　马尔可夫决策问题 8.2.2　马尔可夫链与转移概率矩阵 8.2.3　稳态概率 8.2.4 马尔可夫应用实例 第二次抽检结果（2） 第三次抽检结果（1） 第三次抽检结果（2） 第三次抽检结果（3） 第四次抽检结果（1） 第四次抽检结果（2） 第四次抽检结果（3） 第四次抽检结果（4） 决策结果（1） 决策结果（2） 决策结果（3） 决策结果（4） 决策结果（5） 研究这样的一类决策问题： 采取的行动已经确定，但将这个行动付诸实践的过程又分为几个时期。在不同的时期，系统可以处在不同的状态，而这些状态发生的概率又可受前面时期实际所处状态的影响。 其中一种最简单、最基本的情形，是每一时期状态参数的概率分布只与这一时期的前一时期实际所处的状态有关，而与更早的状态无关，这就是所谓的马尔可夫链。 8.2 马尔可夫决策 8.2.1　马尔可夫决策问题 马氏过程 马尔科夫（ M . A . Markov ）提出一种描述系统状态转移的数学模型，称为马尔科夫过程，简称马氏过程。 马氏决策 利用马氏过程分析系统当前状态并预测未来状态的决策方法，称为马尔科夫决策，简称马氏决策。 8.2 马尔可夫决策 国防科学技术大学 信息系统与管理学院 管理科学与工程系 第11讲 序贯决策分析 主要内容 8.1.1　多阶段决策问题 决策过程比较复杂； 需要将过程分为若干个相互联系的阶段，分别对每阶段都做出决策； 各阶段的决策结果前后相互衔接，彼此相互关联，前阶段决策结果影响后阶段决策目标，后阶段决策状态又依赖于前阶段状态设置； 各个阶段决策形成一个完整的决策过程（序列）； 8.1 多阶段决策 8.1.1　多阶段决策问题 决策者关心的是整个决策过程的总体效应，而不单是各阶段的决策结果。 总之，若一个决策问题需要经过相互衔接、相互关联的若干阶段决策才能完成，则自然称之为多阶段决策。 8.1 多阶段决策 8.1.2　多阶段决策方法及其应用实例 多阶段决策分析的步骤 适当地划分阶段； 确定各阶段的状态变量，寻找各阶段之间的联系； 从后到前用逆序归纳法进行决策分析，每一阶段决策可采用各种单阶段决策方法。 主要方法是决策树方法和动态规划方法。 8.1 多阶段决策 例8.1 某企业考虑是否花费1万元购买某新产品专利。若购买了专利，可进行大批生产(a1)、中批生产(a2) 或小批生产(a3)，可能出现的市场销售情况也分为畅销(θ1)、一般(θ2)和滞销(θ3 )三种。其收益（利润，万元）矩阵如下表： 状态θ P(θ) θ1 θ2 θ3 a1 0.6 4 2 －3 a2 0.3 3 3 －2 a3 0.1 1 1 1 8.1 多阶段决策 为了更正确地掌握市场情况，正式投产公司打算先生产少量产品试销，试销费需要5000元。试销结果分为产品受欢迎(H1)，一般(H2)和不受欢迎(H3)三种。 由于试销面不宽，试销结果的准确性有限。 其准确度（似然分布矩阵）见下表： θ P(θ) P(H1︱θ) P(H2︱θ) P(H3︱θ) θ1 0.6 0.6 0.3 0.1 θ2 0.3 0.2 0.6 0.2 θ3 0.1 0.2 0.3 0.5 例8.1 如不买此项专利，把这笔费用用在其他方面，在同样的时期可获利1.1万元。那么，该公司应该如何决策？ （1）是否买专利？ （2）如果买专利，是否采取试销办法？ （3）如果不试销，应大批生产，中批生产还是小批生产？如果试销，又应该如何根据试销结果决定其行动？ 例8.1 第一阶段 1 2 7 买专利 不买专利 试销 不试销 3 4 5 6 H1 H2 H3 8 9 10 a1 a2 a3 θ1 θ2 θ3 （略） 第二阶段 第三阶段 例8.1 解：这是一个三阶段决策问题，采用逆序归纳法进行决策分析，先要计算在一定的试销结果下的各后验概率。由全概率公式： 计算得： 例8.1 再由贝叶斯公式： 计算得： 例8.1 当试销结果为 H1时： 故当试销结果为 H1时，应选择大批生产a1，截去方案a2、a3，结点4的值为3.406万元。 ----结点8 ----结点9 ----结点10 例8.1 当试销结果为 H2时： 故当试销结果为 H2时，应选择中批生产a2，截去方案a1、a3 ，结点5的值为2.62万元 。 例8.1 当试销结果为 H3时： 故当试销结果为 H3时，也应选择中批生产a2，截去方案a1、a3 ，结点6的值为1.53万元 。 例8.1 试