第6章 动态规划-第4,5节.pptVIP

上述过程递推回去，当x*1(0)=K，由状态转移方程 本例的最优策略是{K，R，R，R，K}，即第一年初购买的设备到第二、三、四年初各更换一次，用到第五年年末，总效益为17万元。 s2=1，查f2(1)得x*2=R s3=1，查f3(1)得x*3=R s4=1，查f4(1)得x*4=R s5=1，查f5(1)得x*5=K 动态规划总结 一、动态规划基本概念： 1 阶段：将所给问题的过程，按时间或空间特征分解成若干互相联系的阶段，用k表示。 2 状态：各阶段开始时的客观条件。 状态变量用sk表示。 状态变量集合用Sk表示。 状态性质：当某阶段状态给定以后，在这阶段以后的过程的发展不受这段以前各状态的影响。 3 决策：当各阶段的状态确定以后，可以作出不同的选择，从而确定下一阶段的状态。这个选择称为决策。 决策变量:uk(sk) 允许决策集合：决策变量的取值范围，用DK(SK)表示。 4 策略：各阶段决策确定后，整个问题的决策序列就构成一个策略。P1.n{u1(s1),u2(s2),……un(sn)}. 允许策略集合：可供选择的策略范围。P1.n 5 状态转移方程：由k阶段到k+1段的状态转移规律。 Sk+1=Tk(sk,uk) 6 指标函数：用于衡量所选定策略优劣的数量指标。 V1.n(s1,p1.n)表示初始状态为S1，采用策略p1.n 时原过程的指标函数值。 7 最优指标函数：从第k阶段状态Sk，采用最优策略pk.n’ 到过程终止时的最佳效益值。 fk(sk)=Vk.n(sk,pk.n’ ) =opt Vk.n(sk,pk.n ) 二、动态规划基本原理 Bellmen 最优化原理： 一个过程的最优策略具有这样的性质—— 无论初始状态及初始决策如何，对于先前决策所形成的状态而言，其以后的所有决策应构成最优决策。 三、动态规划的基本思想 （1）划分阶段，选取变量，定义最优指标函数。 （2）从边界条件开始，逆过程行进方向逐段递推寻优。 （3）把当前效益和未来各段分开，又把当前效益与未来效益结合起来考虑。 四、动态规划的 基本解法 1 逆序解法：适用于初始状态给定的情况。 2 顺序解法：适用于终止状态给定的情况。 五、动态规划基本方程 六、动态规划模型的建立要点 1 划分满足递推关系的若干阶段； 2 正确选择状态变量、决策变量（无后效性）； 3 正确写出状态转移方程 Sk+1=Tk(sk,uk)； 4 确定指标函数Vk n,和最优指标函数fk(sk)； 5 列出基本方程，确定边界条件。 七、几个典型示例动态规划模型的建立 最短路问题 阶段k：整体路线上的段数 状态变量sk：每一段上的中转站 决策变量uk：从某一段上某一状态到下一阶段各中转站的决定 状态转移方程：Sk+1=uk(sk) 指标函数：Vk.n是第k阶段到终点的距离 基本方程： 资源分配问题 阶段k：投资项目数 状态变量sk：第k段可以投资于第k项到第n个项目的资金数 决策变量xk：决定给第k个项目投资的资金数 状态转移方程：sk+1=sk-xk 指标函数： 最优值函数fk(sk):表示以数量为sk的资金分配给第k个项目至第n个项目所得到的最大总收益。 基本方程： 生产与存储问题 阶段k：每个月为一个阶段 状态变量xk：第k个月初的库存量 决策变量uk：第k个月的生产量 状态转移方程： 阶段效益为阶段生产费用和库存费用之和，即 基本方程： 设备更新问题 阶段k（k=1，2，…，n）表示计划使用该设备的年限数。 状态变量sk：第k年初，设备已使用过的年数，即役龄。 决策变量xk：是第k年初更新（Replacement），还是保留使用（Keep）旧设备，分别用K，R表示。 状态转移方程为： 阶段效益函数： 最优指标函数fk(sk)：表示第k年初，使用一台已用了sk年的设备，到第n年末的最大收益，动态规划的基本方程为 实际上： 习题 6.3 某公司有资金10万元，若投资于项目i（i=1,2,3）的投资额为xi时，其效益分别为 问如何分配投资数额才能使总效益最大？ 第4节 生产存贮问题 所谓生产与库存问题就是一个生产部门，如何在已知生产成本、库存费用和各阶段市场需求条件下，决定各阶段产量，使计划内的费用总和为最小的问题。很多问题可以化成此类问题来解决。 生产与库存问题本身就是一个多阶段决策过程。设某一生产部门，生产周期分为n个阶段，已知最初库存量为S1，阶段市场的需求为dk，生产的固定成本为K，单位产品的消耗费用为L，单位产品的阶段库存费用为h，仓库容量为M，阶段最大生产能力为B。问如何