动态规划(完整.ppt

主要内容: §7.1多阶段决策问题 §7.2 动态规划的基本概念和基本原理 §7.3 动态规划应用举例 分阶段的最短路径 Ⅳ ： C1—T 3 Ⅲ --Ⅳ : B1—C1—T 4 Ⅱ--Ⅲ--Ⅳ ：A2—B1—C1—T 7 Ⅰ--Ⅱ--Ⅲ --Ⅳ： Q—A2—B1—C1—T 11 Q--A3—B1—C1—T 11 Q--A3—B2—C2—T 11 最短路径解的特点 1、可以将全过程求解分为若干阶段求解；------多阶段决策问题 2、在全过程最短路径中，将会出现阶段的最优路径；-----递推性 3、前面的终点确定，后面的路径也就确定了，且与前面的路径（如何找到的这个终点）无关；-----无后效性 3、逐段地求解最优路径，势必会找到一个全过程最优路径。-----动态规划 §7.1多阶段决策问题 动态规划是解决多阶段最优决策的方法, 由美国数学家贝尔曼(R. Bellman) 于 1951年首先提出; 1957年贝尔曼发表动态规划方面的第一部专著“动态规划”, 标志着运筹学的一 个新分支的创立。 动态规划将复杂的多阶段决策问题分解为一系列简单的、离散的单阶段决策问题, 采用顺序求解方法, 通过解一系列小问题达到求解整个问题目的; 动态规划的各个决策阶段不但要考虑本阶段的决策目标, 还要兼顾整个决策过程的整体目标, 从而实现整体最优决策. 动态规划的分类: 离散确定型 离散随机型 连续确定型 连续随机型 动态规划的特点: 动态规划没有准确的数学表达式和定义精确的算法, 它强调具体问题具体分析, 依赖分析者的经验和技巧。 与运筹学其他方法有很好的互补关系, 尤其在处理非线性、离散性问题时有其独到的特点。 动态规划的应用 动态规划在工程技术, 企业管理, 军事部门有广泛的应用; 可解决资源分配, 生产调度, 库存管理, 路径优化, 设备更新, 投资规划, 排序问题和生产过程的最优控制等问题; §7.2 动态规划的基本概念和基本思想 使用动态规划方法求解决策问题首先要将问题改造成符合动态规划求解要求的形式,要涉及以下概念: (1)阶段 (2)状态 (3)决策与策略 (4)状态转移方程 (5)指标函数 (6)基本方程 (1) 划分阶段 把一个复杂决策问题按时间或空间特征分解为若干(n)个相互联系的阶段(stage), 以便按顺序求解; 阶段变量描述当前所处的阶段位置，一般用下标 k 表示; 每阶段有若干状态(state), 表示某一阶段决策面临的条件或所处位置及运动特征的量,称为状态。反映状态变化的量叫作状态变量。 k 阶段的状态特征可用状态变量 sk 描述; 每一阶段的全部状态构成该阶段的状态集合Sk，并有sk?Sk。每个阶段的状态可分为初始状态和终止状态，或称输入状态和输出状态，阶段的初始状态记作sk ，终止状态记为sk+1 ，也是下个阶段的初始状态。 (7) 最优解 例 用动态规划求解最短路问题  最短路的求解: 阶段: 可分为4个阶段, k = 1, ..., 4。 状态: 可用城市编号, S1={Q}, S2={A1,A2,A3}, S3={B1,B2,B3}, S4={C1,C2}, S5={T} 决策: 决策变量也可用城市编号; 状态转移方程: sk+1= xk; 阶段指标函数： 过程指标（阶段递推）函数: k = 4 f4 (C1) = 3, f4 (C2) = 4 k = 3 f3(B1)=min{1+f4(C1)=4*, 4+f4(C2)=8}=4 f3(B2)=min{6+f4(C1)=9, 3+f4(C2)=7*}=7 f3(B3)=min{3+f4(C1)=6*, 3+f4(C2)=7}=6 k = 2 f2(A1) = min{7+ f3(B1), 4+ f3(B2), 6+ f3(B3) } = min{11*, 11*, 12} = 11 f2(A2) = min{3+ f3(B1), 2+ f3(B2), 4+ f3(B3) } = min{7*, 9, 10 } = 7 f2(A3) = min{4+ f3(B1), 1+ f3(B2), 5+ f3(B3) } = = min{8*, 8*, 11 } = 8 k = 1 f1(Q) = min{2+f2(A1), 4+f2(A2), 3+f2(A3)} = min{13, 11*, 11* }