运筹学5动态选编.ppt

主要内容: §5.1多阶段决策过程的最优化 §5.2 动态规划的基本概念和基本原理 §5.3 动态规划方法的基本步骤 §5.4 动态规划应用举例;§5.1多阶段决策过程的最优化 ;例 5 .1 求解最短路问题 ;动态规划将复杂的多阶段决策问题分解为一系列简单的、离散的单阶段决策问题, 采用顺序求解方法, 通过解一系列小问题达到求解整个问题目的; 动态规划的各个决策阶段不但要考虑本阶段的决策目标, 还要兼顾整个决策过程的整体目标, 从而实现整体最优决策.;动态规划的分类:;动态规划的特点: ; 通常多阶段决策过程的发展是通过状态的一系列变换来实现的。一般情况下，系统在某个阶段的状态转移除与本阶段的状态和决策有关外，还可能与系统过去经历的状态和决策有关。因此，问题的求解就比较困难复杂。而适合于用动态规划方法求解的只是一类特殊的多阶段决策问题，即具有“无后效性”的多阶段决策过程。所谓无后效性，又称马尔柯夫性，是指系统从某个阶段往后的发展，;仅由本阶段所处的状态及其往后的决策所决定，与系统以前经历的状态和决策(历史)无关。;动态规划的应用; 拾火柴游戏: 桌子上放30根火柴, 每人一次可拾起1－3根, 谁拾起最后一根火柴谁输, 如果你先选择, 如何保证你能赢得游戏？ 29－25－21－17－13－9－5－1;使用动态规划方法求解决策问题首先要将问题改造成符合动态规划求解要求的形式,要涉及以下概念: (1)阶段 (2)状态 (3)决策与策略 (4)状态转移 (5)指标函数; (1) 划分阶段 把一个复杂决策问题按时间或空间特征分解为若干(n)个相互联系的阶段(stage), 以便按顺序求解; 阶段变量描述当前所处的阶段位置，一般用下标 k 表示; ;每阶段有若干状态(state), 表示某一阶段决策面临的条件或所处位置及运动特征的量,称为状态。反映状态变化的量叫作状态变量。 k 阶段的状态特征可用状态变量 sk 或 xk描述; 状态有起始、中间、最终状态之分，每一阶段的全部状态构成该阶段的状态集合Sk，并有sk?Sk或xk?Sk。每个阶段的状态可分为初始状态和终止状态，或称输入状态和输出状态，阶段的初始状态记作sk ，终止状态记为sk+1 ;(3) 决策、决策变量; 决策变量的取值往往也有一定的容许范围，称之允许决策集合．决策变量 uk(sk)的允许决策集用 UK(SK)表示， uk(sk) ?UK(SK) , 允许决策集合实际是决策的约束条件。 ;(4)策略和允许策略集合 ;(5) 状态转移方程;(6) 指标函数; 用gk(sk , uk)表示第 k 段处于状态 sk且所作决策为 uk 时的指标，则它就是第 k 段指标函数，简记为gk 。;还跟该子过程策略 pk(sk) 有关,严格说来，应表示为 Rk(sk , pk(sk)) 。它是由各阶段的阶段指标函数 gk(sk , uk)累积形成的，对于 k 部子过程的指标函数可以表示为： ; 多阶段决策问题中，常见的目标函数形式之一是取各阶段效应之和的形式，即: ;(7) 最优解;例 5 .2 用动态规划求解最短路问题 ;最短路的求解: 阶段: 可分为5个阶段, k = 1, ..., 5。 状态: 可用城市编号, S1={1}, S2={2, 3, 4}, S3={5, 6, 7}, S4={8, 9}, S5={10} 决策: 决策变量也可用城市编号; 状态转移方程: sk+1= uk; 损益递推函数:; k = 4 f4 (8) = 10, f4 (9) = 14 k = 3 f3(5)=min{6+f4(8)=16*, 8+f4(9)=22}=16 f3(6)=min{5+f4(8)=15*, 9+f4(9)=23}=15 f3(7)=min{8+f4(8)=18, 3+f4(9)=17*}=17 k = 2 f2(2) = min{6+ f3(5), 8+ f3(6), 11+ f3(7) } = min{22*, 23, 28} = 22; f2(3) = min{6+f3(5), 8+f3(6), 7+ f3(7)} = min{22*, 23, 24 } = 22 f2(4) = min{5+f3(5), 7+f3(6), 8+f3(7)} = min{21*, 22, 25 } = 21 k = 1 f1(1) = min{5+f2(2), 9+f2(3), 7+f2(4)} = min{27*, 31, 28 } = 27 最短路是：1 ? 2 ? 5 ? 8 ? 10;计算效率分析: 对有 7 个阶段, 每个阶段