随机型动态规划及软件介绍.ppt

* * * * * * * * * * * * 《运筹学》 第八、九章 动态规划 第6章 动态规划 动态规划的基本理论 （2学时） 确定型动态规划 （2学时） 随机型动态规划 （1学时） 动态规划的软件求解简介 （1学时） 一、离散随机性动态规划 随机型的动态规划是指状态的转移律是不确定的，即对给定的状态和决策，下一阶段的到达状态是具有确定概率分布的随机变量，这个概率分布由本阶段的状态和决策完全确定。随机型动态规划的基本结构如下图： sk 状态 xk 决策 概率 k阶段的收益 p1 p2 pN …. k+1阶段的状态sk+1 c1 c2 cN 1 2 N 第15讲 随机型动态规划及软件介绍 图中N表示第k+1阶段可能的状态数，p1、p2、…pN为给定状态sk和决策xk的前提下，可能达到下一个状态的概率。ci为从k阶段状态sk转移到k+1 阶段状态为i时的指标函数值。 在随机性的动态规划问题中，由于下一阶段到达的状态和阶段的效益值不确定，只能根据各阶段的期望效益值进行优化。 例1 某公司承担一种新产品研制任务，合同要求三个月内交出一件合格的样品，否则将索赔2000元。根据有经验的技术人员估计，试制品合格的概率为0.4，每次试制一批的装配费为200元，每件产品的制造成本为100元。每次试制的周期为1个月。问该如何安排试制，每次生产多少件，才能使得期望费用最小？（类例教材1：例6-7） 解：把三次试制当作三个阶段（k=1,2,3）,决策变量xk表示第k次生产的产品的件数；状态变量sk表示第k次试制前是否已经生产出合格品，如果有合格品，则sk=0；如果没有合格品，记sk=1。最优函数fk(sk)表示从状态sk、决策xk出发的第k阶段以后的最小期望费用。故有fk(0)＝0。 生产出一件合格品的概率为0.4，所以生产xk件产品都不合格的概率为 ，至少有一件合格品的概率为1- ，故有状态转移方程为 用C(xk)表示第k阶段的费用，第k阶段的费用包 括制造成本和装配费用，故有 根据状态转移方程以及C(xk)，可得到 如果3个月后没有试制出一件合格品，则要承担 2000元的罚金，因此有f4(1)=20。 当k=3时，计算如下表： x3 s3 C(x3)+20× f3(s3) x3* 0 1 2 3 4 5 6 0 0 — — — — — — 0 0 1 20 15 11.2 9.32 8.59 8.56 8.93 8.56 5 当k=2时，计算如下表： x2 s2 C(x2)+8.56× f2(s2) x2* 0 1 2 3 4 0 0 — — — — 0 0 1 8.56 8.14 7.08 6.85 7.11 6.85 3 当k=1时，有 x1 s1 C(x1)+6.85× f1(s1) x1* 0 1 2 3 0 0 — — — 0 0 1 6.85 7.11 6.46 6.48 6.46 2 上面三个表中并没有列出xk取更大数值的情况，因为可以证明以后的C(xk)+ fk+1(1)的值是对xk单调增加的。 因此得到的最优策略是，在第1个阶段试制2件产品；如果都不合格，在第2阶段试制3件产品；如果仍都不合格，则在第3个阶段试制5件产品。该策略得到的最小的期望费用6.46。 例2 不确定性采购问题（类例教材1：例6-8） 某厂生产上需要在近五周内必须采购一批原料,而估计在未来五周内原材料的价格是波动的，浮动价格和概率已知。如何采购使其采购价格的数学期望最小，并求出期望值。 单价 概率 500 0.3 600 0.3 700 0.4 动态规划的数学模型 该问题分成五个阶段，k表示周，k＝1，2，3，4，5 设Sk表示为第k周的实际价格。 决策变量Uk,Uk＝1表示为第k周决定采购，Uk＝0表示为第k周决定等待。 XkE表示为第k周决定等待,而在以后采取最优决策时采购价格的期望值。 fk(Sk)表示第k周实际价格为Sk时，从第k周到第5周采取最优策略所得的最小期望值