运筹和优化--动态规划.pptVIP

第一节 多阶段的决策问题 第二节 动态 规划的基本概念和基本方程 2.1. 动态 规划的基本概念 最短路问题中，各个节点就是状态 生产库存问题中，库存量是状态 物资分配问题中，剩余的物资量是状态 最短路问题中，走哪条路 生产库存问题中，各阶段的产品生产量 物资分配问题中，分配给每个地区的物资量 2.2. 动态 规划的基本思想和基本方程 第三节 动态 规划的最优性原理和最优性定理 第四节 多阶段决策过程及实例 动态规划顺序解法的基本方程为: 式中状态转移方程sk=Tk’(sk+1,uk). (8.3)中通常“*”取“+”时δ=0；取“×”时δ=1. 附注：若将状态变量sk表示k阶段末的结束状 态，则 动态规划顺序解法的基本方程为: 动态 规划的最优性原理:作为整个过程的最优策 略具有这样的性质，无论过去的状态和决策如何,对 前面决策所形成的状态而言,余下的诸决策必构成最 优策略.(简言之,一个最优策略的子策略总是最优的) 动态 规划的最优性定理:设阶段数为n的多阶段 决策过程,其阶段编号为k=0,1,2,…。 允许策略 是最优策略的充要 条件是对任一个k，0＜k＜n-1和s0∈S0有 式(8.4)中 ,它是由给 定的初始状态s0和子策略p0，k-1所确定的k段状态. 推论：若允许策略p*0,n-1 是最优策略,则对任意的 k，0＜k＜n-1，它的子策略p*k，n-1对于以 s*k=Tk-1(s*k-1,u*k-1)为起点的k到n-1子过程来说,必是 最优策略.(注意: k段状态s*k是由s0和p*0,k-1所确定的) 此推论就是动态规划的“最优性原理”,它仅仅是 最优策略的必要性. 动态规划的四大要素、一个重点(方程) ① 状态变量及其可达状态集合 sk ? Sk ② 决策变量及其允许决策集合 uk ? Dk ③ 状态转移方程 sk+1 = Tk ( sk , uk ) ④ 阶段指标函数 vk ( sk , uk ) ⑤ 动态规划基本方程(8.2)或(8.3) 多阶段决策过程特点: 要点：阶段，状态，决策，状态转移方程，k子过程. 逆推解法:决策uk使状态sk(输入)转移为状态sk+1 (输出).状态转移方程 sk+1=Tk(sk,uk)，k=n,n-1,…1. 顺推解法:决策uk使状态sk+1(输入)转移为状态 sk(输出).状态转移方程 sk=Tk’(sk+1,uk)， k=1,2,…n. 初始状态给定时,宜用逆推法;终止状态给定时, 宜用顺推法. 例1、设备负荷分配问题 某种机器可在高低两种不同的负荷下进行生产.设机器在高负荷下生产的产量函数为g=cu=8u，其中u为投入生产的机器数量,年终机器的完好率为a=0.7；在低负荷下生产的产量函数为h=dx=5x ，其中x为投入生产的机器数量,年终机器的完好率为b=0.9.假定开始生产时完好的机器数量为s1=1000台.试问企业每年年初应如何分配机器在高、低两种负荷下的生产,使在第5年年末完好的机器数量为s6=500台,并且5年内生产的产品总产量最高. 例1、设备负荷分配问题 解. 设阶段序号k表示年度. 状态变量sk为第k年年初拥有的完好机器数量,同 时也是第k-1年年末的完好机器数量. 决策变量uk为第k年度投入高负荷下生产的机器 数量,于是 xk=sk-uk 为该年度中分配在低负荷下生产 的机器数量. 状态转移方程为 sk+1=auk+bxk=0.7uk+0.9(sk-uk) 第k年度的允许决策集合为 Dk(sk)={uk│0≤uk≤sk} 第k年度的产量为 vk=8uk+5(sk-uk), k=1,2…,5 指标函数 V1,5=∑5k=1vk. 令最优值函数fk(sk)表示从第k年开始到第5年年末 所生产的产品的最大总产量,则有逆推法的基本方程: 从第5年度开始,向前递推计算. 最优策略为： u1*=u2*=u3*=u4*=0，u5