动态规划问题培训教案.pptVIP

动态规划应用举例----最短路问题 a d b e t c f s 9 7 5 7 8 4 5 6 4 6 5 4 7 状态变量xk取为k阶段所在地，则有： 动态规划应用举例----最短路问题 a d b e t c f s 9 7 5 7 8 4 5 6 4 6 5 4 7 k阶段决策是决定下一步走到哪里，uk(xk)取为下一步的所在点。 动态规划应用举例----最短路问题 逆序求条件最优目标函数集和条件最优决策集 由于第3阶段末已到达t，往后的距离自然是零，因此f4(t)=0 对3阶段所有可能的状态X3={d, e, f}计算f3( )如下 动态规划应用举例----最短路问题 逆序求条件最优目标函数集和条件最优决策集 也可以用表格方法计算如下 t/t F3() U3() d e f 5+0 7+0 4+0 5 7 4 t t t r3(x3,u3)+f4(x4) f3(x3) u3(x3) 动态规划应用举例----最短路问题 逆序求条件最优目标函数集和条件最优决策集 对2阶段所有可能的状态X2={a, b, c}计算f2( )如下 动态规划应用举例----最短路问题 逆序求条件最优目标函数集和条件最优决策集 对2阶段所有可能的状态X2={a, b, c}计算f2( )如下 动态规划应用举例----最短路问题 逆序求条件最优目标函数集和条件最优决策集 也可以用表格方法计算如下 d/d e/e f/f F2() U2() a b c 7+5 5+5 4+5 6+7 5+7 4+4 6+4 8 10 9 f d d f2(x2) u2(x2) r2(x2,u2)+f3(x3) 动态规划应用举例----最短短问题 逆序求条件最优目标函数集和条件最优决策集 对1阶段所有可能的状态X1={s}计算f1( )如下 a/a b/b c/c F2() U2() s 9+8 8+10 7+9 16 f 动态规划应用举例----最短路问题 顺序求最优策略、最优路线和最优目标函数值 动态规划应用举例----最短路问题 第四章 动态规划问题 动态规划的概念与模型 静态决策 一次性决策 动态决策 多阶段决策 决策 x1 x2 Z u 输入 决策 输出 决策效应 第一月 x1 x2 r1 u1 第二月 x3 r2 u2 第三月 x4 r3 u3 多段决策过程 T1 x1 x2 r1 u1 T2 x3 r2 u2 Tk xk xk+! rk uk Tn xn xn+1 rn un … … n个决策子问题 K称为阶段变量 xk描述k阶段初的状态，称为状态变量 一般把输入状态称为该阶段的阶段状态。 uk的取值代表k阶段对第k子问题所进行的决策，称为k阶段的决策变量 rk为k阶段从状况xk出发,做决策uk之后的后果，称为k阶段的阶段效应。 具有无后效性的多段决策过程 Xk+1=Tk (xk, uk) 系统从k阶段往后的决策只与k阶段系统的状态xk有关,而与系统以前的决策无关，则称为具有无后效性的多段决策过程。 T1 x1 x2 r1 (x1, u1) u1(x1) T2 x3 r2 (x2 ,u2) u2 (x2) Tk xk xk+! rk (xk,uk) uk (xk) Tn xn xn+1 … … rn (xn,un) un (xn) K后部子过程 多段决策过程中从第k阶段到最终阶段的过程称为k-后部子过程，简称k-子过程。 Tk xk xk+! rk (xk,uk) uk (xk) Tn xn xn+1 … rn (xn,un) un (xn) 动态规划模型 Opt表示求优 Xk是一个集合，表示k阶段状态可能取值的范围，称为状态可能集合。 Uk是一个集合，表示k阶段决策可能取值的范围，称为决策允许集合，一般来说对于不同状态，可以作的决策的范围是不同的。因此决策允许集合一般写为Uk(xk)。 动态规划的建模 动态规划建模 ①确定阶段与阶段变量 ②明确状态变量和状态可能集合。 ③确定决策变量和决策允许集合。 ④确定状态转移方程。 ⑤明确阶段效应和目标。 动态规划的建模 ①确定阶段与阶段变量 阶段的划分一般是按照决策进行的时间或空间上的先后顺序划分的，阶段数等于多段决策过程中从开始到结束所需要作出决策的数目，阶段变量用k表示。 ②明确状态变量和状态可能集合。 状态变量必须包含在给定的阶段上确定全部允许决策所需要的信息。状态变量的确定决定了整个决策过程是不是具有无后效性，因而也决定着能不能用动态规划方法来求解。状态可能集是关于状态的约束条件，因此为了求解必须正确地确定状态可能集。 动态规划的建模 ③确定决策变量和决策允许集合。 与静态问题相同，决策