IE10_OR14CH5动态规划1.pptVIP

基本原理与基本方程 （1）基本原理 （2）基本方程 根据最优性原理，可建立从后向前逆推求解的递推公式——基本方程： 动态规划求解的一般步骤： - 确定过程的分段，构造状态变量； - 设置决策变量，写出状态转移； - 列出阶段指标和指标函数； - 写出基本方程，由此逐段递推求解。 §5.3 动态规划模型的建立与求解 例1 原料分配问题：利用已有的12吨原料制造两种产品，已知每制造一吨产品A需要原料4吨，每制造一吨产品B需要原料2吨，而两种产品在市场上的价格分别为每吨8千元和1万元，求如何安排生产计划能使总效益最大？ 可将分配两产品的产量看作两个阶段： 第一阶段：确定生产A产品多少吨； 第二阶段：确定生产B产品多少吨。求出使总效益最大的决策序列。 1. 连续型（用公式递推求解） 状态变量： k s 为 k 阶段开始时供使用的原料， k=1,2 决策变量： 1 x 2 x 允许决策集合： } 4 / 0 | { ) ( 1 1 1 1 1 s x x s D ￡ ￡ = } 2 / 0 | { ) ( 2 2 2 2 2 s x u s D ￡ ￡ = 状态转移方程和阶段收益函数如图 动态规划的基本方程： B 1 x 2 x 12 1 = s A 1 1 2 4 x s s - = 2 2 3 2 x s s - = 1 1 8 x R = 2 2 10 x R = } { ? ? ? í ì = = + = + + ? 0 ) ( 1 , 2 , ) ( max ) ( 3 3 1 1 ) ( s f k s f R s f k k k x D u k k k k k 下面从第二阶段开始向前求解： 反推可得： ，即将12吨原料全部用于生产B产品，总效益最大，为60千元。 } { } { 0 ) ( 60 5 ) 4 ( 5 8 max 5 8 max ) ( 5 . 0 ) ( 5 10 ) , ( max ) ( 1 * 1 1 1 1 1 1 4 1 1 0 2 1 1 4 1 1 0 1 1 2 2 * 2 2 2 2 2 2 2 5 . 0 2 0 2 2 = = = - + = + = = = = = ￡ ￡ ￡ ￡ ￡ ￡ s x s x s x s x s f s s x s x x s R s f s x s x s x 6 , 0 * 2 * 1 = = x x 例2 用动态规划方法求解前面的机器负荷问题。 某种机器可以在高、低两种负荷下进行生产。高负荷年产量8，年完好率0.7；低负荷年产量5，年完好率0.9。现有完好机器1000台，需制定一个5年计划，以决定每年安排多少台机器投入高、低负荷生产，使5年的总产量最大。 解：设阶段k=1，…，5表示第k年安排机器的过程； 状态sk表示第k年初的完好机器台数； 决策xk表示第k年投入高负荷的机器台数；则投入低负荷的台数为sk-xk ； 状态转移sk+1=0.7xk+0.9(sk-xk)； 阶段指标vk=8xk+5(sk-xk)表示第k年的产量； 指标函数vkn= 表示第k至5年的总产量； 5年的最大总产量为23 .72×1000=23720。 2. 离散型（用表格方式求解） 例2.1 用动态规划方法求解最短路问题。 A E B1 B2 B3 C1 C2 C3 D1 D2 2 9 5 3 12 2 5 1 5 6 4 6 8 10 13 12 11 14 10 A E B1 B2 B3 C1 C2 C3 D1 D2 2 9 5 3 12 2 5 1 5 6 4 6 8 10 13 12 11 14 10 解：设阶段k=1，2，3，4依次表示4个阶段选路的过程； 状态sk表示k阶段初可能处的位置； 决策xk表示k阶段初可能选择的路； 阶段指标vk表示k阶段与所选择的路段相应的路长； 指标函数 vk4 = 表示k至4阶段的总路长； A E B1 B2 B3 C1 C2 C3 D1 D2 2 9 5 3 12 2 5 1 5 6 4 6 8 10 13 12 11 14 10 4 k Sk xk vk vkn=vk+fk+1 fk 3 C1 C2 C3 8 7 12 C1D1E C2D