Lecture 8 动态规划.pptx

第五章 动态规划华南理工大学 模具研究室mesjzhang@scut.edu.cn引例动态规划的基本概念利用以上基本概念，重新求解上例。资源分配问题机器负荷分配问题货郎担问题(Traveling Salesman Problem)例 最短路径问题下图表示从起点A到终点E之间各点的距离。求A到E的最短路径。2511214106104131112396581052如果用穷举法，则从A到E一共有3×3×2=18条不同的路径。逐个计算每条路径的长度，总共需要进行4×18=72次加法计算；对18条路径的长度做两两比较，找出其中最短的一条，总共要进行18－1=17次比较。如果从A到C的站点有k个，则总共有3k-1×2条路径， 用穷举法求最短路径总共要进行(k+1)3k-1×2次加法，3k-1×2-1次比较。当k的值增加时，需要进行的加法和比较的次数将迅速增加。例如当k=10时，加法次数为433026次，比较39365次。以上这求从A到E的最短路径问题，可以转化为三个性质完全相同，但规模较小的子问题，即分别从B1、B2、B3到E的最短路径问题。记从Bi (i=1, 2, 3) 到E的最短路径为S(Bi)，则从A到E的最短距离S(A)可以表示为：在这个问题中，S(D1)和S(D2)是已知的，它们分别是：S(D1)=5，S(D2)=2因而，可以从这两个值开始，逆向递归计算S(A)的值。计算过程如下：可以计算S(Bi)：可以计算S(A)：最后，可以得到：从A到E的最短路径为A B2 C1 D1 E以上计算过程及结果，可用下图表示，可以看到，以上方法不仅得到了从A到D的最短路径，同时，也得到了从图中任一点到E的最短路径。820052712141919C1C3D1AB1B3B2D2EC22511214106104131112396581052以上过程，仅用了18次加法，11次比较，计算效率远高于穷举法。动态规划问题基本特征：1、问题具有多阶段决策的特征。阶段可以按时间划分，也可以按空间划分。2、每一阶段都有相应的“状态”与之对应，描述状态的量称为“状态变量”。3、每一阶段都面临一个决策，选择不同的决策将会导致下一阶段不同的状态，同时，不同的决策将会导致这一阶段不同的目标函数值。4、每一阶段的最优解问题可以递归地归结为下一阶段各个可能状态的最优解问题，各子问题与原问题具有完全相同的结构。能否构造这样的递推归结，是解决动态规划问题的关键。这种递推归结的过程，称为“不变嵌入”。动态规划基本概念2、状态Sk. 状态（state） 表示每个阶段开始时所面临的自然状况或客观条件，既是该阶段某一支路的始点，又是前一阶段某一支路的终点.描述状态的变量称为状态变量xk1、阶段k. 阶段（stage） 是对整个过程的自然划分，为能应用动态规划方法，首先必须根据实际问题所处的时间，空间或其他条件，把所研究的问题恰当地划分成若干个相互联系的阶段.注意：作为动态规划的状态，应具有这样的重要性质：如果某阶段状态给定后，则在这阶段以后过程的发展不受这阶段以前各段状态的影响，换句话说，过程的过去历史只能通过当前的状态去影响它未来的发展，当前的状态是以往历史的一个总结，这个性质称为无后效性（也称为马尔科夫性）。从前例的求解过程中可看出，是逐段逆推求解，如果不具有无后效性，就不可能在不知道前面状态的情况下逆推求解，所以必须正确选择状态变量，使它所确定的过程具有无后效性，否则不能用动态规划方法.3、决策dk(xk).当某阶段的状态确定后，可以作出各种不同的选择，从而确定下一阶段的状态，这种选择称为决策（decision），描述决策的变量称为决策变量4、策略.策略（policy）是一个按顺序排列的决策组成的集合，由过程的第k阶段开始到终止状态为止的过程，称为问题的后部子过程.5、状态转移方程（equation of state transition） 反映前后阶段状态之间的关系的方程. 能否成功地应用动态规划方法，重要条件之一就是所设状态变量和决策变量必须满足阶段指标函数vk(xk,dk)：从状态xk出发，选择决策dk所产生的第k阶段指标。过程指标函数V(xk,dk,dk+1,…,dn)：从状态xk出发，选择决策dk,dk+1,…,dn所产生的过程指标。动态规划要求过程指标具有可分离性即Vk,n(xk, dk,dk+1,…,dn)=vk(xk,dk)+Vk+1(xk+1,dk+1,…,dn)称指标具有可加性，或Vk,n(xk, dk,dk+1,…,dn)=vk(xk,dk)×Vk+1(xk+1,dk+1,…,dn)称指标具有可乘性。最优指标函数fk(xk)：从状态xk出发，对所有的策略Pk,n，过程指标Vk,n的最优值，即对于可加性指标函数，上式可以写为对于可乘性指标函数，上式可