运筹学ch(信管).pptVIP

(5)状态转移方程 式中的“opt”（optimization）可根据具体问题的实际意义而取min或max（下面我们主要以加法形式讨论）。 一、动态规划最优化原理 二、动态规划基本方程 k=1时，动态规划的基本方程是 由于所有的 f2(s2) 都已经求出，因此可以根据 s2=T1(s1,u1)，就阶段1每个可能状态S1 ,求最优决策及相应的最优目标函数值 f1(s1) . 依次下去 …………. 最后，顺序地求出最优目标值、最优策略和最优路线。 解: 按问题的变量个数划分阶段,把它看作一个三阶段决策问题。令变量x1，x2，x3为决策变量。 例2：用逆推解法求解下面问题: 则有：x3=s3, 0≤x2≤s2, 0≤x1≤s1=c 令状态变量为： s3= x3, s2 = x2+x3, s1=c = x1+x2+x3 即 s3= x3, s2 = s3+ x2, s1=c = s2+ x1。 于是状态转移方程为： s3=s2-x2, s2 =s1-x1 各阶段指标按乘积方式结合。即令: 由逆推解法： 即最优解 x3*=s3 。 令最优值函数f k(sk)表示第k阶段从初始状态sk出发，从第k阶段到第3阶段所得到的效益最大值。 得 和 x2=0(舍去) 故 为极大值点，也就是最大值点。 同上对h1(s1, x1)求导并令导数等于0可得： 由于s1=c， 由s2 =s1－x1＊， 由s3 =s2－x2＊， 因此最优解为： 最大值为： 解: 按问题的变量个数划分阶段,把它看作一个三阶段决策问题。令变量x1，x2，x3为决策变量。 例3：用顺推法求解下面问题: 则有：s2=x1 ,s2+x2=s3 ,s3+x3=s4=c x1=s2 ,0≤x2≤s3 ,0≤x3≤s4=c 状态转移方程为： s2=s3-x2, s3=s4-x3 设状态变量为：s2=x1 ,s3=x1+x2 , s4=c＝x1+x2+x3 信息系 罗捍东 第四章 动态规划 所谓多阶段决策问题是有这样一类决策过程,它可以划分为若干个相互联系的阶段，在任一阶段都有若干种方案可供选择，选择哪一种方案需要作出决策，这样就形成一个决策序列，通常称为一种策略。不同的策略就产生不同的效果，在所有可能的策略当中，选择一个效果最好的最优策略，就是解决多阶段决策问题的主要目的。下面通过例子来说明。 第 一 节 多阶段决策过程及实例 例1：（最短路问题）设从A地到E地要铺设一条管道，其中要经过若干个中间点(如图)。图中两点之间连线上的数字表示两地间的距离。现在要选择一条铺设管道的路线，使总长度最短。 2 5 1 12 14 10 6 10 4 13 11 12 3 9 6 5 8 10 5 2 C1 C3 D1 A B1 B3 B2 D2 E C2 在这个问题中，从A到B1 ,B2 , B3中的哪一个点要作出一项决策，从B1,B2 , B3某点到 C1,C2,C3 中的哪一个点又要作出一项决策等等。所以总共要作出四个决策。因此，我们可以把整个路程分为A,B ( 包括B1,B2 , B3), C (包括C1, C2 , C3),D(包括D1和D2),E四个阶段。这就是一个多阶段的决策问题。 用动态规划求解多阶段决策问题，是把整个问题划分为若干阶段后，依次地为每一个阶段作出最优决策，而每个阶段的最优决策应该是包含本阶段和以后所有各阶段在内的最优决策。因此，在确定了第一个阶段的决策之后，整个问题的最优决策序列也就随之产生。这就是用动态规划解多阶段决策问题的基本思想。 以上面的例1来说明动态规划解决问题的思想。设： Sk—第k阶段的起点（状态变量） d(x, y) —第k阶段的从状态x 到状态y 的“距离”； fk(sk) —第k阶段从状态Sk出发到终点E的“最短路”。 最短路线的重要特征是：如果最短路线在第k阶段通过点Pk。则由点Pk出发到达终点的这条路线，对于从点Pk出发到达终点的所有可能选择的不同路线来说，必定也是最短路线。 例如在最短路问题中，如果找到了从A到E的最短路： 则C2→D1→E应该是由C2 出发到E点的所有可能不同线路中的最短路线。 最短路线这一特性，启发我们找最短路线的方法：那就是从最后一段开始，用由后向前逐步递推的方法，求出各点到E点的最短路线，最后求得由A点到E点的最短路线。所以动态规划的常用的方法是从终点逐段向始点方向寻找“最短路线” 。如图所示： 行进方向 起点 终点 动态规划寻优途径 下面按上述思想，将例1从最后一段开始计算，