建模：-动态规划.ppt

主要内容: §6.1多阶段决策过程的最优化 §6.2 动态规划的基本概念和基本原理 §6.3 动态规划方法的基本步骤 §6.4 动态规划应用举例 §6.1多阶段决策过程的最优化 动态规划是解决多阶段最优决策的方法, 由美国数学家贝尔曼(R. Bellman) 于 1951年首先提出; 1957年贝尔曼发表动态规划方面的第一部专著“动态规划”, 标志着运筹学的一 个新分支的创立。 动态规划将复杂的多阶段决策问题分解为一系列简单的、离散的单阶段决策问题, 采用顺序求解方法, 通过解一系列小问题达到求解整个问题目的; 动态规划的各个决策阶段不但要考虑本阶段的决策目标, 还要兼顾整个决策过程的整体目标, 从而实现整体最优决策. 动态规划的分类: 离散确定型 离散随机型 连续确定型 连续随机型 动态规划的特点: 动态规划没有准确的数学表达式和定义精确的算法, 它强调具体问题具体分析, 依赖分析者的经验和技巧。 与运筹学其他方法有很好的互补关系, 尤其在处理非线性、离散性问题时有其独到的特点。 动态规划的应用 动态规划在工程技术, 企业管理, 军事部门有广泛的应用; 可解决资源分配, 生产调度, 库存管理, 路径优化, 设备更新, 投资规划, 排序问题和生产过程的最优控制等问题; 动态规划与倒推求解: 拾火柴游戏: 桌子上放30根火柴, 每人一次可拾起1－3根, 谁拾起最后一根火柴谁输, 如果你先选择, 如何保证你能赢得游戏？ 29－25－21－17－13－9－5－1 §6.2 动态规划的基本概念和基本思想 使用动态规划方法求解决策问题首先要将问题改造成符合动态规划求解要求的形式,要涉及以下概念: (1)阶段 (2)状态 (3)决策与策略 (4)状态转移 (5)指标函数 (1) 划分阶段 把一个复杂决策问题按时间或空间特征分解为若干(n)个相互联系的阶段(stage), 以便按顺序求解; 阶段变量描述当前所处的阶段位置，一般用下标 k 表示; 每阶段有若干状态(state), 表示某一阶段决策面临的条件或所处位置及运动特征的量,称为状态。反映状态变化的量叫作状态变量。 k 阶段的状态特征可用状态变量 sk 或 xk描述; 状态有起始、中间、最终状态之分，每一阶段的全部状态构成该阶段的状态集合Sk，并有sk?Sk或xk?Sk。每个阶段的状态可分为初始状态和终止状态，或称输入状态和输出状态，阶段的初始状态记作sk ，终止状态记为sk+1 (7) 最优解 例 6 .2 用动态规划求解最短路问题 最短路的求解: 阶段: 可分为5个阶段, k = 1, ..., 5。 状态: 可用城市编号, S1={1}, S2={2, 3, 4}, S3={5, 6, 7}, S4={8, 9}, S5={10} 决策: 决策变量也可用城市编号; 状态转移方程: sk+1= uk; 损益递推函数: k = 4 f4 (8) = 10, f4 (9) = 14 k = 3 f3(5)=min{6+f4(8)=16*, 8+f4(9)=22}=16 f3(6)=min{5+f4(8)=15*, 9+f4(9)=23}=15 f3(7)=min{8+f4(8)=18, 3+f4(9)=17*}=17 k = 2 f2(2) = min{6+ f3(5), 8+ f3(6), 11+ f3(7) } = min{22*, 23, 28} = 22 f2(3) = min{6+f3(5), 8+f3(6), 7+ f3(7)} = min{22*, 23, 24 } = 22 f2(4) = min{5+f3(5), 7+f3(6), 8+f3(7)} = min{21*, 22, 25 } = 21 k = 1 f1(1) = min{5+f2(2), 9+f2(3), 7+f2(4)} = min{27*, 31, 28 } = 27 最短路是：1 ? 2 ? 5 ? 8 ? 10 计算效率分析: 对有 7 个阶段, 每个阶段有 5 种状态的最短路径问题, 用穷举法计算要进行 56 = 15625 次加法和 3124 次比较, 而动态规划只需105次加法和 84 次比较, 计算效率分别提高近150和40倍. 动态规划的无后效性原则 对任何阶段 k, 有sk+1= T (sk, uk), sk+1仅取决于当前状态sk和当前决策uk, 与 k 阶段前的状态和决策无关, 也即, k 阶段以后的发展不受该阶段以前状态的影响, 过去的历史只能通过当前状态来影响今后的发展。 二、动态规划的最优性原理 整个过程的最优策略应