计量学-动态规划问题.ppt

第四章 动态规划问题 动态规划的概念与模型 静态决策 一次性决策 多段决策过程 具有无后效性的多段决策过程 K后部子过程 动态规划模型 动态规划的建模 动态规划的建模 动态规划的建模 动态规划的建模 动态规划解的概念 动态规划最优性原理 动态规划最优性原理 动态规划最优性原理 贝尔曼函数 贝尔曼函数 贝尔曼函数 动态规划基本方程 动态规划基本方程 动态规划基本方程 动态规划方法基本原理 动态规划问题求解的一般步骤 动态规划问题求解的一般步骤 动态规划问题求解的一般步骤 动态规划问题求解的一般步骤 动态规划问题求解的一般步骤 动态规划问题求解的一般步骤 动态规划四大要素、一个方程 动态规划应用举例----最短路问题 动态规划应用举例----最短路问题 动态规划应用举例----最短路问题 动态规划应用举例----最短路问题 动态规划应用举例----最短路问题 动态规划应用举例----最短路问题 动态规划应用举例----最短路问题 动态规划应用举例----最短路问题 动态规划应用举例----最短路问题 动态规划应用举例----最短短问题 动态规划应用举例----最短路问题 动态规划应用举例----最短路问题 a d b e t c f s 9 7 5 7 8 4 5 6 4 6 5 4 7 状态变量xk取为k阶段所在地，则有： a d b e t c f s 9 7 5 7 8 4 5 6 4 6 5 4 7 k阶段决策是决定下一步走到哪里，uk(xk)取为下一步的所在点。 逆序求条件最优目标函数集和条件最优决策集 由于第3阶段末已到达t，往后的距离自然是零，因此f4(t)=0 对3阶段所有可能的状态X3={d, e, f}计算f3( )如下 逆序求条件最优目标函数集和条件最优决策集 也可以用表格方法计算如下 t t t 5 7 4 5+0 7+0 4+0 d e f U3() F3() t/t r3(x3,u3)+f4(x4) f3(x3) u3(x3) 逆序求条件最优目标函数集和条件最优决策集 对2阶段所有可能的状态X2={a, b, c}计算f2( )如下 逆序求条件最优目标函数集和条件最优决策集 对2阶段所有可能的状态X2={a, b, c}计算f2( )如下 逆序求条件最优目标函数集和条件最优决策集 也可以用表格方法计算如下 7+5 5+5 4+5 d/d 6+7 5+7 e/e f d d 8 10 9 4+4 6+4 a b c U2() F2() f/f f2(x2) u2(x2) r2(x2,u2)+f3(x3) 逆序求条件最优目标函数集和条件最优决策集 对1阶段所有可能的状态X1={s}计算f1( )如下 9+8 a/a 8+10 b/b f 16 7+9 s U2() F2() c/c * * 动态决策 多阶段决策 决策 x1 x2 Z u 输入 决策 输出 决策效应 第一月 x1 x2 r1 u1 第二月 x3 r2 u2 第三月 x4 r3 u3 T1 x1 x2 r1 u1 T2 x3 r2 u2 Tk xk xk+! rk uk Tn xn xn+1 rn un … … n个决策子问题 K称为阶段变量 xk描述k阶段初的状态，称为状态变量 一般把输入状态称为该阶段的阶段状态。 uk的取值代表k阶段对第k子问题所进行的决策，称为k阶段的决策变量 rk为k阶段从状况xk出发,做决策uk之后的后果，称为k阶段的阶段效应。 Xk+1=Tk (xk, uk) 系统从k阶段往后的决策只与k阶段系统的状态xk有关,而与系统以前的决策无关，则称为具有无后效性的多段决策过程。 T1 x1 x2 r1 (x1, u1) u1(x1) T2 x3 r2 (x2 ,u2) u2 (x2) Tk xk xk+! rk (xk,uk) uk (xk) Tn xn xn+1 … … rn (xn,un) un (xn) 多段决策过程中从第k阶段到最终阶段的过程称为k-后部子过程，简称k-子过程。 Tk xk xk+! rk (xk,uk) uk (xk) Tn xn xn+1 … rn (xn,un) un (xn) Opt表示求优 Xk是一个集合，表示k阶段状态可能取值的范围，称为状态可能集合。 Uk是一个集合，表示k阶段决策可能取值的范围，称为决策允许集合，一般来说对于不同状态，可以作的决策的范围是不同的。因此决策允许集合一般写为Uk(xk)。 动态规划建模 ①确定阶段与阶段变量 ②明确状态变量和状态可能集合。 ③确定决策变量和决策允许集合。 ④确定状态转移方程。 ⑤明确阶段效应和目标。 ①确定阶段与阶段