動态规划.pptVIP

第五章 动态规划;5.1.1 ;动态规划是现代管理中一种重要的决策方法,; 这是一个最短路径问题的动态规划，也叫车马驿站问题。由图5.1 不难看出, 本例是一个四阶段的决策问题, 因此, 无疑可以用动态规划方法求解。 5.1.2 动态规划的基本概念 一、阶段(stage) 　　将所给问题的过程，按时间或空间特征分解成若干相互联系的段落以便按次序求解就形成了阶段,阶段变量常用字母k来表示。 如例5.1若有四个阶段，k就等于1,2,3,4。第一阶段共有3 条路线即(A,B1), (A,B2)和(A,B3),第二阶段有9条路线，第3 阶段有6条路线,第4 阶段有2 条路线。;二、状态(state) 　　各阶段开始时的客观条件或出发点称作状态，描述各阶段状态的变量称作状态变量, 用s表示。状态变量的取值集合称为状态集合, 用S表示。在例5.1中，第一阶段的状态为A，第二阶段的状态为城市B1，B2和B3。所以状态变量s1的集合S1={A},s2的集合是S2={B1,B2,B3}, 依次有S3={C1,C2,C3}, S4={D1,D2}。所以,在这里,状态变量的取值实际上是给定集合的一个元素。 在动态规划中，状态必须具有如下性质：即当某阶段状态给定以后，在这阶段以后过程的发展不受这段以前各状态的影响 , 这称作无后效性。如果所选定的变量不具备无后效性，就不能作为状态变量来构造动态规划模型。如在例5.1中，当某阶段的状态变量确定以后，假定s3=C2,因而在确定第3 阶段的货运路线时，就只与C2 这个城市有关，而与货物由哪个城市到达此地无关，所以满足状态的无后效性;三、;四、状态转移方程;为; 为了求出例5.1的最短路线,一个简单的方法是,可以求出所有从A到E的可能走法的路长并加以比较。不难知道,从A到E共有18条不同的路线,每条路线有四个阶段,要做3次加法,要求出最最短路线需做54次加法运算和17次比较运算,这叫做穷举法。不难理解,当问题的段数很多,各段的状态也很多时,这种方法的计算量会大大增加,甚至使得寻优成为不可能。 下面应用动态规划方法求解例5.1。为了获得每一个后部子过程的最佳效益值,只能运用逆序递推方法求解,即由最后一段到第一段逐步求出各点到终点的最短路线,最后求出A点到E点的最短路线。运用逆序递推方法的好处是可以始终盯住目标,不致脱离最终目标。例5.1是一个四阶段决策问题,一般可分为四步： 第一步,从k=4开始,状态变量s4可取两种状态D1,D2,它们到E点的距离分别为4和3,这也就是由D1和D2到终点E 的最短距离 即 f4(D1)=4, f4(D2)=3。;第二步,k=3,; ;同理有;从城市;在上述的求解过程中; 根据例5.1,动态规划的基本思想可总结如下： 一、将多阶段决策过程划分阶段,恰当地选取状态变量,决策变量和定义最优指标函数,从而把问题化成一族同类型的子问题，然后逐个求解。 二、求解时总是从边界条件开始, 沿过程行进方向，逐段递推寻优。在每一个子问题求解时,都要利用它前边已求出的子问题的最优结果。最后一个子问题的最优解,就是整个问题的最优解。 三、动态规划方法是既把当前一段与未来各段分开,又把当前效益和未来效益结合起来考虑的一种最优化方法。因此,每段的最优策略的选取都是从全局考虑的，它与该段的最优选择是不同的。; ;5.2.2 ;解;5.2.3 ;表;;表5.3 解例5.2 的第三步 s2 0 1 2 3 s3 0 1 2 3 0 1 2 3 0 1 2 3 0 1 2 3 u2(s2) 3 4 5 6 2 3 4 5 1 2 3 4 0 1 2 3 V2+f3 18 18.5 16 17 17.5 18 15.5 16.5 17 17.5 15 16 13.5 17 14.5 15.5 f2( s2) 16 15.5 15 13.5 u2*(s2)