第八章-序贯决策探究.ppt

第八章 序贯决策分析 广西大学数学与信息科学学院 运筹管理系 §8.1　多阶段决策 8.1.1　多阶段决策问题 决策过程比较复杂； 需要将过程分为若干个相互联系的阶段，分别对每阶段都做出决策； 各阶段的决策结果前后相互衔接，彼此相互关联，前阶段决策结果影响后阶段决策目标，后阶段决策状态又依赖于前阶段状态设置； 各个阶段决策形成一个完整的决策过程（序列）； §8.1　多阶段决策 8.1.1　多阶段决策问题 决策者关心的是整个决策过程的总体效应，而不单是各阶段的决策结果。 总之，若一个决策问题需要经过相互衔接、相互关联的若干阶段决策才能完成，则自然称之为多阶段决策。 §8.1　多阶段决策 8.1.2　多阶段决策方法及其应用实例 多阶段决策分析的步骤 适当地划分阶段； 确定各阶段的状态变量，寻找各阶段之间的联系； 从后到前用逆序归纳法进行决策分析，每一阶段决策可采用各种单阶段决策方法。 主要方法是决策树方法和动态规划方法。 §8.1　多阶段决策 例8.1 某企业考虑是否花费1万元购买某新产品专利。若购买了专利，可进行大批生产(a1)、中批生产(a2) 或小批生产(a3)，可能出现的市场销售情况也分为畅销(θ1)、一般(θ2)和滞销(θ3 )三种。其收益（利润，万元）矩阵如下表： 例8.1 为了更正确地掌握市场情况，正式投产公司打算先生产少量产品试销，试销费需要5000元。试销结果分为产品受欢迎(H1)，一般(H2)和不受欢迎(H3)三种。 由于试销面不宽，试销结果的准确性有限。 其准确度（似然分布矩阵）见下表： 例8.1 如不买此项专利，把这笔费用用在其他方面，在同样的时期可获利1.1万元。那么，该公司应该如何决策？ （1）是否买专利？ （2）如果买专利，是否采取试销办法？ （3）如果不试销，应大批生产，中批生产还是小批生产？如果试销，又应该如何根据试销结果决定其行动？ 例8.1 例8.1 例8.1 当试销结果为 H1时： 例8.1 当试销结果为 H2时： 例8.1 当试销结果为 H3时： 例8.1 试销收益期望值： 例8.1 §8.1　多阶段决策 有一类多阶段决策问题，在进行决策后又产生一些新情况，需要进行新的决策，接着又有一些新的情况，又需要进行新的决策。这样决策、情况、决策…，就构成一个序列，这就是序列决策。 特点：决策次数事前并不明确，决策阶段划分次数依赖于决策过程中出现的特殊状况。 仍可用决策树法解这类问题，关键是：确定一个决策序列终止的原则。 【例8.2】 某厂家的产品装箱出厂，每箱有产品1000件，产品的次品率有0.01，0.40，0.90三种可能，相应概率分别为 0.2，0.6，0.2。有两种产品检验方案： 整箱检验(a1)，检验费100元； 不作整箱检验(a２)，在销售中若顾客发现次品，允许调换并赔偿，每件损失0.25元。 【例8.2】 为了更好地选择检验方案，可先从任意一箱中随机地抽取一件产品作为样品。 第一次抽样后，可继续进行第二次、第三次等若干次抽样，每次抽样成本均为4.2元，样本容量均为1。 试进行序列决策： （1）是否需要抽样？（若需要，抽样几次？） （2）在抽样或不抽样的前提下，采用何种方案进行检验？ 【例8.2】 【例8.4】 【例8.2】 【例8.2】 【例8.2】 【例8.2】 【例8.2】 【例8.2】 【例8.2】 【例8.2】 【例8.2】 【例8.2】 【例8.2】 【例8.2】 §8.2　马尔可夫决策 研究这样的一类决策问题： 采取的行动已经确定，但将这个行动付诸实践的过程又分为几个时期。在不同的时期，系统可以处在不同的状态，而这些状态发生的概率又可受前面时期实际所处状态的影响。 其中一种最简单、最基本的情形，是每一时期状态参数的概率分布只与这一时期的前一时期实际所处的状态有关，而与更早的状态无关，这就是所谓的马尔可夫链。 §8.2　马尔可夫决策 8.2.1　马尔可夫决策问题 马氏过程 马尔科夫（ M . A . Markov ）提出一种描述系统状态转移的数学模型，称为马尔科夫过程，简称马氏过程。 马氏决策 利用马氏过程分析系统当前状态并预测未来状态的决策方法，称为马尔科夫决策，简称马氏决策。 §8.2　马尔可夫决策 8.2.2　马尔可夫链与转移概率矩阵 若随机过程｛X(t), t∈T｝，对于任意的 t1t2…tn，ti∈T 都有 P{x(tn)y | x(tn-1)=xn-1, …, x(t1)=x1} =P{x(tn)y | x(tn-1)=xn-1} 则称｛X(t), t∈T｝具有马尔可夫性。 含义：{x(tn)}的将来只是通过现在与过去发生联系，一旦现在已知，则将来与过去无关。 8.2.2　马尔可夫链与转移概率矩阵 条