第10章动态规划方法.pptVIP

动态规划（Dynamic Programming）同前面介绍过的线性规划方法不同，它不是一种算法，而是考察问题的一种途径。动态规划是一种求解多阶段决策问题的系统技术。由于动态规划不是一种特定的算法，因而它不像线性规划那样有一个标准的数学表达式和明确定义的一组规则，动态规划必须对具体问题进行具体的分析处理。动态规划在自然科学和社会科学等各个领域都有着广泛的应用，并且获得了显著的效果。 动态规划是解决多阶段决策问题的一种方法. 1951年，美国数学家贝尔曼（R.Bellman，1920～1984）研究了一类多阶段决策问题的特征，提出了解决这类问题的基本原理。在研究、解决了某些实际问题的基础上，他于1957年出版了《动态规划》这一名著。本章将简要介绍动态规划的思想方法及其应用。 ——动态规划解决问题的基本思路是：把整体比较复杂的大问题划分成一系列较易于解决的小问题，通过逐个求解，最终取得整体最优解。这种“分而治之，逐步调整”的方法，在一些比较难以解决的复杂问题中已经显示出优越性。 ——所谓多阶段决策过程是指这样一类活动过程：一个决策过程可以分为若干个相互联系的阶段，每个阶段都需要作一定的决策，但是每个阶段最优决策的选择不能只是孤立地考虑本阶段所取得的效果如何，必须把整个过程中的各个阶段联系起来考虑，要求所选择的各个阶段决策的集合——策略，能使整个过程的总效果达到最优。 1 最短路径问题 【例1】设在E城的某公司要从S城运送一批货物，两城之间有公路相连（见图 1(a)），其中 是可以供选择的途经站点，各点连线上的数字表示相邻站点间的距离。现在的问题是选择一条由S到E的路径，使得所经过的路径最短。 1 最短路径问题 1 最短路径问题 分析：如果用枚举法，将有12条不同的路径，每条路径对应一个由S到E的路径距离，其中最小值所对应的路径即为最短路径。本问题的最短路径有3条，路程均为21个单位： 1 最短路径问题 当段数很多时，枚举法的计算量将极其庞大。 现在换个思路，寻找由S到E的最短路径。先把最短路径问题所考虑的过程分为4个阶段： 1 最短路径问题 我们称由某点到终点的阶段数k为阶段变量，如由 到E的阶段数为1（这时记由C到E的阶段数为1，它与第1阶段是不同的概念），由 到E的阶段数为2（这时记由B到E的阶段数为2），等等。可见阶段变量的取值正好与实际进行的阶段相反（图（b））。 1 最短路径问题 在任一阶段开始时所处的位置称为状态变量，在阶段k的状态变量记为 ，例如 为阶段3的状态变量，可以取为 中任意一个。 1 最短路径问题 为了寻找由起点S到E终点的最短路径，我们考察前面用枚举法找到的第1条最短路径： 1 最短路径问题 以 表示在阶段k的状态变量为 、决策变量为 时点 与 间的距离；记 为在阶段k由点 到终点E的最短路径的长度。本例中要求的是 。 1 最短路径问题 从 出发到终点E最短路径为“ ”，决策变量 ； 1 最短路径问题 从 出发到终点E最短路径为“ ”，决策变量 ； 1 最短路径问题 因此，由起点S到终点E的最短路径为 1 最短路径问题 由上述计算过程可知，对有n个阶段的最短路径问题，可以逐段逆向地求出各点到终点的最短路径，且在求解的每一步都利用阶段k和阶段k-1间的递推关系： 2 贝尔曼最优化原理 将求解最短路径问题的思路推广到一般多阶段决策问题时，可以表述成： 贝尔曼最优化原理：一个过程的最优策略具有这样的性质，即无论其初始状态和初始决策如何，今后的诸决策，对以第一个决策所形成的状态作为初始状态的过程而言，必须构成最优策略。 这个原理是动态规划的理论基础。 2 贝尔曼最优化原理 应用动态规划方法解决一般多阶段决策问题时，其求解过程如下： （1）把实际问题适当地划分成k个阶段，阶段变量为 ； （2）在每个阶段k，确定状态变量 为及此阶段可能的状态集合 ； （3）确定决策变量 及每个阶段k的允许决策集合 ； （4）列出递推关系即动态规划基本方程并计算： 2 贝尔曼最优化原理 【例2】（石油输送管道铺设优选问题）某石