运筹学动态规划方案.docVIP

第7章 动态计划 动态计划是Bellman在1957年提出解多阶决议问题方法，在那个时期，线性计划很流行，它是研究静态问题，而Bellman提出解多阶决议问题方法适适用于动态问题，相对于线性计划研究静态问题，取名动态计划。动态计划方法应用范围很广泛，方法也比较简单。动态计划是将一个多阶决议问题分解为一系列相互嵌套一步决议问题，序贯求解使问题得到简化。 动态计划问题根据问题性质能够分为确定性和随机性，按决议变量和状态变量取值能够分为离散型和连续型。另外还有依据时间变量连续取值还是离散取值又分为连续时间动态计划问题和离散时间动态计划问题。本章关键讨论离散时间确定性动态计划问题，包含状态变量和决议变量连续取值和离散取值两种情况。 7.1解多阶决议问题动态计划法 1.多阶决议问题例 (1)最优路径问题—多阶决议问题例 为了直观，先从最优路径问题谈起，它能够看作一个多阶决议过程。经过最优路径问题解能够看到用动态计划法解多阶决议问题基础思想。 图7-1最优路径问题 图7-1最优路径问题 考虑图7-1所表示最优路径问题。一汽车由点出发到终点，和是部分能够经过点。图中两点间标出数字是汽车走这一段路所需时间(单位为小时)。最优路径问题是确定一个路径，使汽车沿这条路径由点出发达成点所用时间最短。最优路径问题能够看作一个多阶决议问题，由到城市甲是第1个阶段，第1个结点或第2个结点做为第1阶段能够经过两个站点，由城市甲到城市乙是第2阶段，这个阶段是从或到或，由城市乙到城市丙是第3阶段，这个阶段是从或到或，由城市丙或到做为第四阶段。 （2）最优路径问题解 对最优路径问题，存在一个很显著原理，即最优路径一部分还是最优路径。换句话说，假如是所求最优路径，那么，汽车从这一路径上任何一点，比如，出发到最优路径必为。这一原理称为最优性原理。依据这一原理能够由后向前递推求出最优路径。 假如汽车已到，由直接到用3小时，假如汽车已到，由直接到用4小时，这两个数字分别标在图7-2中和旁方括号内。再向前推一步，设汽车已在，经需2+4=6小时，经需2+3=5小时。这么从出发经到所需时间最短，需5小时。将5记在旁括号内，经抵达，将标在括号下角。类似可计算出汽车分别从，，，出发达成所需最短时间及路径，见图7-2。 图7-2最优路径问题解解 图7-2最优路径问题解解 由图7-2能够看出，汽车从出发达成最优路径是，需时13小时。不仅如此，由图7-2还能够看到汽车从任何一点出发抵达点最短路径，及和它对应最短时间。按结构图7-2方法共需10次加法。如将全部路径一一列出则需24次加法。 上面求最优路径方法，是把一个四阶段最优决议问题，化成四个相互嵌套子问题逐一求解，从而使问题得到简化，这种方法称为动态计划法。 为了说明动态计划方法优点，我们将应用决议树法情况画到图9.3中，能够看到用决议树法运算量比用动态计划法大得多。 由图9.3能够看出决议树法是算出全部可能路径所需时间，最终从中选出最优路径，动态计划法则是从后面向前递推。每阶段计算过结果不在反复计算，从而降低了计算量。 4 4 151 15 1 14316 14 3 1 6 1642 16 4 2 41536 4 15 3 6 14412 14 4 1 2 13145 13 1 4 5 1832 18 3 2 47 4 7 1732 17 3 2 第二阶段 第二阶段 第四阶段第三阶段第一阶段图 最短线路问题中决议树 第四阶段 第三阶段 第一阶段 2.应用动态计划解多阶决议问题基础特征 动态计划是解多阶决议问题一个方法。它能够求解问题有以下特征：决议问题能够分成若干个阶段，每个阶段有若干和该阶段相关状态和需要做决议，系统从一个阶段状态按一定规律转移到下一个阶段状态，多阶决议问题是求一个由每个阶段决议组成最优策略使得按决议目标最好。 应用动态计划解多阶决议问题有以下基础特征： （1）问题能够依时间次序或空间自然特征划分为多个阶段，每个阶段有一个决议变量需要作出决议。用表示阶段数，用表示第阶段决议变量。 （2）动态计划中本阶段状态往往是上一阶段状态和上一阶段决议进行综合结果．每个阶段作出决议后，使得目前状态转移到下一阶段状态 函数决定了这一转移过程，称它为转移函数。这个方程称为状态转移方程简称状态方程。 状态方程是研究对象内在规律数学描述，也称为研究对象数学模型。 （3）每个阶段决议变量集合组成多阶决议问题一个策略 根据决议目标，引进一个用于衡量所选定策略优劣数量指标称为指标函数．部分决议过程指标函数越大越好（比如指标函数是利润、产值等），另部分决议过程指标函数越小越好（比如指标函数是成本、误差等）。使得指标函数最大（或最小）策略称为最优策略。最优策略常记为