第二章 动态规划.ppt

第二章 动态规划 一般状态变量的取值有一定的范围或允许集合，称为可能状态集（set of admissible states） 。可能状态集实际上是关于状态的约束条件。通常可能状态集用相应阶段状态sk的大写字母Sk表示，可能状态集可以是一离散取值的集合，也可以为一连续的取值区间，视具体问题而定．例如上面的最短路问题中，第一阶段状态为A，状态变量s1的状态集合S1={A}；第二阶段则有三个状态：B1 ,B2 ,B3 ,状态变量s2的状态集合S2={B1 ,B2 ,B3 } . 指标函数Vk,n（sk， pk,n ）通常是描述所实现的全过程或k后部子过程效果优劣的数量指标，它是由各阶段的阶段指标函数dk（sk，uk）累积形成的，适于用动态规划求解的问题的指标函数，必须具有关于阶段指标的可分离形式．对于后部子过程的指标函数可以表示为： 总之，具体问题的目标函数表达形式需要视具体问题而定。 即 多阶段决策问题的数学模型 综上所述，适于应用动态规划方法求解的一类多阶段决策问题，亦即具有无后效性的多阶段决策问题的数学模型呈以下形式: 最优化原理 （贝尔曼最优化原理） 作为一个全过程的最优策略具有这样的性质：对于最优策略过程中的任意状态而言，无论其过去的状态和决策如何，余下的诸决策必构成一个最优子策略。该原理的具体解释是，若某一全过程最优策略为： 动态规划的基本方程 在上面最短路问题的求解过程中，在求解的各阶段利用了第k阶段和第k+1阶段的如下递推关系： 一般地，对于n个阶段的决策过程，假设只考虑指标函数是“和”与“积”的形式，第k阶段和第k+1阶段间的递推公式可表示如下： (1)当指标函数为下列“和”的形式时，其相应的基本方程为 (2) 当过程指标函数为下列“积”的形式时,其相应的基本方程为 机器负荷问题 例1 有某种机床,可以在高低两种不同的负荷下进行生产,在高负荷下生产时,产品的年产量为g,与年初投入生产的机床数量u1的关系为g=g(u1)=8u1,这时,年终机床完好台数将为au1,(a为机床完好率，0a1,设a=0.7).在低负荷下生产时,产品的年产量为h,和投入生产的机床数量u2的关系为h=h(u2)=5u2,相应的机床完好率为b(0b1,设b=0,9),一般情况下ab。 假设某厂开始有x=1000台完好的机床，现要制定一个五年生产计划，问每年开始时如何重新分配完好的机床在两种不同的负荷下生产的数量，以使在5年内产品的总产量为最高。 解：首先构造这个问题的动态规划模型。 1．变量设置 (1)设阶段变量k表示年度，因此，阶段总数n=5。 (2)状态变量sk表示第k年度初拥有的完好机床台数，同时也是第k-1年度末时的完好机床数量。 (3)决策变量uk，表示第k年度中分配于高负荷下生产的机床台数。于是sk- uk便为该年度中分配于低负荷下生产的机床台数． 这里sk与uk均取连续变量，当它们有非整数数值时．可以这样理解：如sk＝0.6，就表示一台机器在k年度中正常工作时间只占6/10；uk=0.4时，就表示一台机床在 k年度只有4/10的时间于高负荷下工作． 2．状态转移方程为 k=1，2，…,6 5．最优目标函数递推方程。 令fk(sk)表示由第k年的状态sk出发，采取最优分配方案到第5年度结束这段时间的产品产量，根据最优化原理有以下递推关系： k=1,2,3,4,5 6.边界条件为 下面采用逆序递推计算法,从第5年度开始递推计算。 k=5时有 显然，当u5*=s5时，f5(s5)有最大值，相应的有f5(s5)=8s5 k=4时有 k=3 时有 可见，当u3*=s3时，f3(s3)有最大值f3(s3) =17.55s3. k=2 时有 = + = 此时，当取u2*=0时有最大值，即f2(s2)=20.8s2，其中s2=0.7u1+0.9(s1-u1) k=1时有 + = 当取u1*=0时, f1(s1)有最大值，即f1(s1)=