运筹学动态规划预案.pptVIP

主要内容: §5.1 多阶段决策过程的最优化 §5.2 动态规划的基本概念和基本原理 §5.3 动态规划方法的基本步骤 §5.4 动态规划应用举例 §5.2 动态规划的基本概念 动态规划是解决多阶段最优决策的方法, 由美国数学家贝尔曼(R. Bellman) 于 1951年首先提出; 1957年贝尔曼发表动态规划方面的第一部专著“动态规划”, 标志着运筹学的一 个新分支的创立。 多阶段决策过程的最优化 动态规划将复杂的多阶段决策问题分解为一系列简单的、离散的单阶段决策问题, 采用顺序求解方法, 通过解一系列小问题达到求解整个问题目的; 动态规划的各个决策阶段不但要考虑本阶段的决策目标, 还要兼顾整个决策过程的整体目标, 从而实现整体最优决策. 动态规划的分类: 离散确定型 离散随机型 连续确定型 连续随机型 动态规划的特点: 动态规划没有准确的数学表达式和定义精确的算法, 它强调具体问题具体分析, 依赖分析者的经验和技巧。 与运筹学其他方法有很好的互补关系, 尤其在处理非线性、离散性问题时有其独到的特点。 动态规划的应用 动态规划在工程技术, 企业管理, 军事部门有广泛的应用; 可解决资源分配, 生产调度, 库存管理, 路径优化, 设备更新, 投资规划, 排序问题和生产过程的最优控制等问题; 动态规划与倒推求解: 拾火柴游戏: 桌子上放30根火柴, 每人一次可拾起1－3根, 谁拾起最后一根火柴谁输, 如果你先选择, 如何保证你能赢得游戏？ 29－25－21－17－13－9－5－1 §6.2 动态规划的基本方法 使用动态规划方法求解决策问题首先要将问题改造成符合动态规划求解要求的形式,要涉及以下概念: (1)阶段 (2)状态 (3)决策与策略 (4)状态转移 (5)指标函数 (1) 划分阶段 把一个复杂决策问题按时间或空间特征分解为若干(n)个相互联系的阶段(stage), 以便按顺序求解; 阶段一般用下标 k 表示; (2) 确定状态 每阶段有若干状态(state), 表示某一阶段决策面临的条件, k 阶段的状态特征可用状态变量 sk 或 xk描述; 状态有起始、中间、最终状态之分，每一阶段的全部状态构成该阶段的状态集合Sk，并有sk?Sk或xk?Sk。 (3) 决策与策略 每一阶段都要做出决策，表示从某一阶段的某一状态出发进行的选择; 在 k 阶段 sk 状态的决策由决策变量uk(sk) 描述, 其取值范围由允许决策集合Dk(sk) 表示, 即: uk(sk) ? Dk(sk)。 序列决策构成策略, 只含部分决策的序列称为子策略, 记为 pk(sk): pk(sk)={uk(sk), uk+1(sk+1), ... , un-1(sn-1)} (4) 状态转移 状态转移确定从一个状态到另一个状态的转移过程, 由状态转移方程描述: sk+1 = T (sk, uk); 状态转移方程在大多数情况下可以由数学公式表达, 如: sk+1 = sk + uk； (5) 损益函数 动态规划也是一类优化问题, 存在反映决策者偏好的损益函数; vk(sk, uk) 表示从状态 sk 经过决策 uk到达下一状态后损益函数的变化量; 损益函数应具备可分离性、递推性和单调性; 损益函数一般可表示为: Vk(sk)=?k(sk,uk, sk+1,uk+1, ..., sn-1,un-1, sn) =?k(vk(sk, uk), vk+1(sk+1, uk+1), ..., vn) =?k (sk, uk, Vk+1(sk+1, uk+1)) =?k (vk(sk, uk), Vk+1(sk+1, uk+1)) 最优损益函数为: fk(sk) = opt {Vk(sk)} 常见的损益函数形式有: 例 6 .1 用动态规划求解最短路问题 最短路的求解: 阶段: 可分为5个阶段, k = 1, ..., 5。 状态: 可用城市编号, S1={1}, S2={2, 3, 4}, S3={5, 6, 7}, S4={8, 9}, S5={10} 决策: 决策变量也可用城市编号; 状态转移方程: sk+1= uk; 损益递推函数: k = 4 f4 (8) = 10, f4 (9) = 14 k = 3 f3(5)=min{6+f4(8)=16*, 8+f4(9)=22}=16 f3(6)=min{5+f4(8)=15*, 9+f4(9)=23}=15 f3(7)=min{8+f4(8)=18, 3+f4(9)=17*}=17 k = 2 f2(2) = min{6+ f3(5), 8+ f3(6),