管理运筹学课件-动态规划.pptVIP

* 例7-5的求解 * 随机性动态规划问题 给出Sk 和dk的取值后，状态Sk+1的取值不是唯一确定的，而是具有某种概率分布的随机变量(此概率分布由状态和决策唯一确定)，这类动态规划问题称为随机性动态规划问题。下面就通过三个例题来介绍一下随机性动态规划问题的应用。 1.例1 2.例2 3.例3 * 例1 某公司承担一种新产品试制任务，合同要求三个月内交出一台合格的样品，否则将负担1500元的经济赔偿。据估计，试制时投产一台得到合格样品的概率是1/3，投产一批的准备结束费用为250元，每台试制费用为100元。若投产一批全都不合格，可再投产一批，但每投一批的试制周期为一个月。要求确定每批投入的批量，使总的试制费用（包括可能的赔偿损失）期望值最小。 阶段：k=1，2，3 状态：Sk=1 表示第k个月初尚未得到合格样品 Sk=0 表示第k个月初已经得到了合格样品 决策变量： dk 表示第k个月初投产试制的台数 ? * 动态规划的数学描述 1.阶段 2.状态 3.决策 4.状态转移律 5.策略与子策略 6.阶段指标函数 7.过程指标函数 8.最优指标函数 * 阶段 在多阶段决策过程中，决策点将整个过程划分为若干部分，其中的每一部分即为一个阶段。描述阶段的变量称为阶段变量，常用 k 来表示。阶段的划分一般是根据时间和空间的自然特征来进行的，一个N 个阶段的多阶段决策问题其阶段变量 k =1，2，?，N。 * 状态 状态表示每个阶段开始所处的自然状况或客观条件，它描述了研究问题过程的状况。状态反映前面各阶段决策的结局，又是本阶段决策的出发点和依据。状态是各阶段信息的传递点和结合点，各阶段的状态通常用状态变量Sk来描述。作为状态应具有这样的性质：在某阶段的状态给定后，该阶段以后过程的发展不受此阶段以前各阶段状态的影响。换句话说，过程的历史只能通过当前的状态来影响未来，当前的状态是过程以往历史的一个总结。这个性质称为无后效性或健忘性。 * 决策 决策是指决策者在若干可行方案中所作出的选择。决策变量dk(Sk)表示第k 阶段、状态为Sk时的决策。决策变量的取值会受到一定的限制，用Dk(Sk)表示第k 阶段、状态为Sk 时决策变量允许的取值范围，称为允许决策集合，因而有dk(Sk)? Dk(Sk) 。 * 状态转移律 状态转移律是确定由一个状态到另一个状态演变过程的关系式，这种演变的对应关系记为Sk+1=Tk (Sk, dk)。 * 策略与子策略 各阶段决策所组成的决策序列称为一个策略，具有N个阶段的动态规划问题的策略可表示为{d1(S1), d2(S2), …, dN(SN)}。 从某一阶段开始到过程终点为止的决策序列，称为子过程策略或子策略。从第k个阶段起的子策略可表示为{dk(Sk), dk+1(Sk+1), …, dN(SN)}。 * 阶段指标函数 阶段指标函数是对应某一阶段决策的效率度量，用gk=rk (Sk, dk)来加以表示。 * 过程指标函数 过程指标函数是用来衡量所实现过程优劣的数量指标，它是定义在全过程（策略）或后续子过程（子策略）上的数量函数。过程指标函数常用Rk,,N 来表示，构成动态规划的过程指标函数应具有可分性并满足递推关系，即Rk,,N 可表示为rk 和Rk+1,N二者的函数。最常见的过程指标函数与阶段指标函数的关系有如下两种： 1.过程指标函数是阶段指标函数的和，此时 Rk,,N =rk +Rk+1,N 2.过程指标函数是阶段指标函数的积，此时 Rk,,N =rk ? Rk+1,N * 最优指标函数 * A B C D B1 12 9 C1 15 6 A 4 B2 20 D