远程运筹学5 动态.pdf

第 五 章 动 态 规 划 第 五 章 动 态 规 划 主要内容: 主要内容: §5.1多阶段决策过程的最优化 §5.1多阶段决策过程的最优化 §5.2 动态规划的基本概念和基本原理 §5.2 动态规划的基本概念和基本原理 §5.3 动态规划方法的基本步骤 §5.3 动态规划方法的基本步骤 §5.4 动态规划应用举例 §5.4 动态规划应用举例 §5.1多阶段决策过程的最优化 §5.1多阶段决策过程的最优化 • 动态规划是解决多阶段最优决策的方法, 由美国数学家贝尔曼(R. Bellman) 于 1951 年首先提出; • 1957年贝尔曼发表动态规划方面的第一部 专著“动态规划”, 标志着运筹学的一 个新 分支的创立。 例 5 .1 求解最短路问题 例 5 .1 6 2 5 6 8 5 11 8 8 6 10 5 9 8 1 1 3 7 6 9 14 10 7 5 7 8 3 9 8 4 7 • 动态规划将复杂的多阶段决策问题分解为 一系列简单的、离散的单阶段决策问题, 采用顺序求解方法, 通过解一系列小问题 达到求解整个问题目的; • 动态规划的各个决策阶段不但要考虑本阶 段的决策目标, 还要兼顾整个决策过程的 整体目标, 从而实现整体最优决策. 动态规划的分类: 动态规划的分类: • 离散确定型 • 离散随机型 • 连续确定型 • 连续随机型 动态规划的特点: 动态规划的特点: • 动态规划没有准确的数学表达式和定义 • 动态规划没有准确的数学表达式和定义 精确的算法, 它强调具体问题具体分析, 精确的算法, 它强调具体问题具体分析, 依赖分析者的经验和技巧。 依赖分析者的经验和技巧。 • 与运筹学其他方法有很好的互补关系, 尤 • 与运筹学其他方法有很好的互补关系, 尤 其在处理非线性、离散性问题时有其独 其在处理非线性、离散性问题时有其独 到的特点。 到的特点。 通常多阶段决策过程的发展是通过状态的一 系列变换来实现的。一般情况下，系统在某 个阶段的状态转移除与本阶段的状态和决策 有关外，还可能与系统过去经历的状态和决 策有关。因此，问题的求解就比较困难复 杂。而适合于用动态规划方法求解的只是一 类特殊的多阶段决策问题，即具有“无后效 性”的多阶段决策过程。所谓无后效性，又称 马尔柯夫性，是指系统从某个阶段往后的发 展， 仅由本阶段所处的状态及其往后的决策所决 定，与系统以前经历的状态和决策(历史)无 关。 具有无后效性的多阶段决策过程的特点是系 统过去的历史，只能通过现阶段的状态去影 响系统的未来，当前的状态就是后过程发展 的初始条件。 动态规划的应用 动态规划的应用 • 动态规划在工程技术, 企业管理, 军事部 门有广泛的应用;