第4章 动态规划1 引例与基本概念.pptVIP

第4章 动态规划(Dynamic Programming) 动态规划的基本概念和思想 最短路径问题 背包问题 投资分配问题 例 5.1.2 多阶段资源分配问题 设有数量为x的某种资源，将它投入两种生产方式A和B中：以数量y投入生产方式A，剩下的量投入生产方式B，则可得到收入g(y)+h(x-y)，其中g(y)和h(y)是已知函数，并且g(0)=h(0)=0；同时假设以y与x-y分别投入两种生产方式A，B后可以回收再生产，回收率分别为a与b。试求进行n个阶段后的最大总收入。 若以y与x-y分别投入生产方式A与B，在第一 阶段生产后回收的总资源为x1=ay+b(x-y)，再将x1 投入生产方式A和B，则可得到收入g(y1)+h(x1-y1)， 继续回收资源x2=ay1+b(x1-y1)，…… 若上面的过程进行n个阶段，我们希望选择n 个变量y,y1,y2,…,yn-1，使这n个阶段的总收入最大。 因此，问题就变成：求y,y1,y2,…,yn-1，以使g(y)+h(x-y)+ g(y1)+h(x1-y1)+ …+g(yn-1)+h(xn-1-yn-1) 达到最大，且满足条件 x1=ay+b(x-y) x2=ay1+b(x1-y1) … … … xn-1=ayn-2+b(xn-2-yn-2) yi与xi均非负,i=1,2, …,n-1 例 5.1.3 生产和存储控制问题 某工厂生产某种季节性商品，需要作下一 年度的生产计划，假定这种商品的生产周期需 要两个月，全年共有6个生产周期，需要作出 各个周期中的生产计划。 设已知各周期对该商品的需要量如下表所示： 例如生产－库存问题 分析处理方法 生产－库存问题的动态结构 一般多阶段决策问题的结构 Bellman(1951提出)最优性原理 动态规划递归方程 建立动态规划模型及求解步骤 可以在各个阶段进行决策，去控制过程发展的多阶段过程；其发展是通过一系列的状态转移来实现的。 4、多阶段决策过程 5. 状态转移方程：是确定过程由一个状态到另一个状态的演变过程，描述了状态转移规律。 图示如下： 其状态转移方程如下（一般形式） 1 2 k ? s1 x1 s2 x2 s3 sk xk sk+1 能用动态规划方法求解的多阶段决策过程是一类特殊的多阶段决策过程，即具有无后效性的多阶段决策过程。 动态规划中能 处理的状态转移 方程的形式。 状态具有无后效性的多阶段决策过程的状态转移方程如下 无后效性(马尔可夫性) 如果某阶段状态给定后，则在这个阶段以后过程的发展不受这个阶段以前各段状态和决策（历史）的影响； 状态转移方程是确定过程由一个状态到另一个状态的演变过程。如果已知第k阶段状态变量sk的值、该阶段的决策变量一经确定，第k+1阶段状态变量sk+1的值也就确定。 6.策略：从初始阶段到最终阶段，每一阶段的决策所形成的序列 子策略：从k阶段到最终阶段n，每一阶段的决策所形成的序列 最优子策略：最优效果的子策略，记为 7. 指标函数:分为阶段指标函数和过程指标函数。阶段指标函数是指第k阶段，从状态sk出发，采用决策xk时的效益值，用rk(sk,xk)表示。过程指标函数是指过程所包含的各阶段的状态和决策所产生的总的效益值.记为 Rk,n＝Rk,n(sk,xk,sk+1,xk+1,……,sn,xn) 最优指标函数：对应于从状态 sk 出发的最优子策略 的效益。记为 k n 即从k到最终阶段n过程指标函数的最优值。 “作为整个过程的最优策略具有这样的性质：无论过去的状态和决策如何，余下的决策必然形成最优子策略” * 例 5.1.1 管道设计 最短路问题就是从某地出发，途经若干中间点最后到达目的地，要求找出路程或费用最小的路线。一般的最短路问题将在下一章讨论，这里只讨论分层的最短路问题。下面的管道设计问题(例5.1.1)就是其中之一。 E D3 D1 D2 C1 C3 C2 A B3 B2 B1 5 4 2 6 3 4 6 5 6 1 2 2 2 3 3 2 3 4 E D3 D1 D2 C1 C3 C2 A B3 B2 B1 5 4 2 6 3 4 6 5 6 1 2 2 2 3 3 2 3 4 从A点到E点