8.动态规划(2010.6.10).pptVIP

第八章 动态规划 第一节 多阶段决策过程及实例 二、多阶段决策过程实例 解：k=6: f6(F1)=4 f6(F2)=3 k=3: f3(C1)=13, u3(C1)=D1 f3(C2)=10, u3(C2)=D1 f3(C3)=9, u3(C3)=D2 f3(C4)=12, u3(C4)=D3 第二节 动态规划的基本概念和基本方程 二、动态规划的基本方程 第三节 动态规划的最优性原理和最优性定理 二、原理 证明： 若允许策略p*0, n-1是最优策略，对于任意一个k(0kn-1)， 它的子策略p*k,n-1对于以 为起点的k到n-1子过程来说，必是最优的。 第四节 动态规划的求解方法 第一节 一维资源分配问题 第三阶段：给第三市场分配 s3 有0－9种可能，第三阶段最优决策表如下： 第二阶段：给第二市场分配 s2 有0~9种可能，第二阶段最优决策表如下： 第一阶段：给第一市场分配 由边界条件s1=9，第一阶段最优决策表如下： 三、连续的一维资源分配问题 例3 机器负荷分配问题（P217－220） 应用动态规划解决问题时必须首先建立动态规划模型，再用逆序或顺序算法求解。写一个问题的动态规划模型一般包含以下6个步骤： （1）阶段划分k=1,2,…,n （2）确定状态变量sk （3）确定决策变量uk （4）确定状态转移方程sk+1=Tk(sk, uk)或sk=Tk*(sk, uk) （5）确定阶段指标vk(sk, uk) （6）确定基本递推方程 或 第九章 动态规划应用举例 一、一维资源分配问题基本模型及求解方法 1.模型 设有某种原料，总数量为a，用于生产n种产品。若分配数量xi用于生产第i 种产品，其收益为gi(xi)。问应如何分配，才能使生产n种产品的总收入最大？ 此问题可写成静态规划问题： 在应用动态规划处理这类“静态规划”问题时，通常以把资源分配给一个或几个使用者的过程作为一个阶段，把问题中的变量xi作为决策变量，将累计的量或随递推过程变化的量选为状态变量。 当gi(xi)都是线性函数时，它是一个线性规划问题；当gi(xi)不是线性函数时，它是一个非线性规划问题。但当n较大时，具体求解是比较麻烦的。然而，由于这类问题的特殊结构，可以将它看成一个多阶段决策问题，并利用动态规划得递推关系来解。 2.求解方法 设状态变量sk 表示分配用于生产第k 种至第n种产品的原料数量。 设决策变量uk表示分配给生产第k 种产品的原料数量,即uk = xk 状态转移方程：sk+1=sk - uk=sk - xk 允许决策集合：Dk(sk)={ uk | 0≤uk=xk≤sk } 令最优值函数fk(sk)表示以数量为sk的原料分配给第k种至第n种产品所得到的最大总收入。递推关系式为： 利用这个递推关系式进行逐段计算，最后求得最大总收入为f1(a) 例1 某公司拟将某种设备5台，分配给甲、乙、丙三个工厂，各工厂利润与设备数量之间的关系如下表所示，问这5台设备如何分配能使三个工厂的总利润最大？ 解：将问题按工厂数分为三个阶段，甲、乙、丙三个工厂分别编号为1，2，3。 设 sk 为分配给第k个工厂至第n个工厂的设备台数， 设 xk 为分配给第k个工厂的设备台数， 状态转移方程为 sk+1=sk – xk， 11 11 9 3 12 11 13 5 12 6 4 0 丙 11 10 5 0 乙 12 7 3 0 甲 4 2 1 0 设备台数 工厂 二、离散的一维资源分配问题 gk(xk)为xk台设备分配到第k个工厂所得的盈利值， fk(sk)为sk台设备分配给第k个工厂至第n个工厂时所得的最大盈利值。 递推关系式为： 下面从最后一个阶段开始向前逆推计算。 第三阶段： 设将s3台设备(s3=0,1,2,3,4,5)全部分配给工厂丙，则最大盈利值为 其中，x3=s3=0,1,2,3,4,5 4 1 0 1 2 3 4 5 0 4 6 11 12 12 12 12 11 6 0 0 1 2 3 4 5 5 4 3 2 0 x3* f3(s3) g3(x3) x3 s3 第二阶段： 设将s2台设备(s2=0,1,2,3,4,5) 分配给工厂乙和丙，则最大盈利值为 其中，x2=0,1,2,3,4,5 5+0 5+4 5+6 5+11 5+12 1 0 1 2 2 1,2 2 0 5 10 14 16 21