[理学]7第七章 动态规划第3-4节.ppt

识别问题的多阶段特性，按时间或空间的先后顺序适当地划分为满足递推关系的若干阶段，对非时序的静态问题要人为地赋予“时段”的概念。 正确选择状态变量，使其具备： 各阶段的状态变量取值，能直接或间接地确定，且能够描述过程的演变。 状态变量要满足无后效性。 例如，著名的“货郎担问题”，有 N 个城镇，要求一个售货员从某城出发，到各城镇去售货，每个城镇去且仅去一次，最后回到原来的出发城镇，求最短路线。 这个问题如果象前面处理最短路问题一样，把城镇位置作为状态变量，显然不满足无后效性； 如果把含该城镇在内及以前走过的全部城镇的集合定义为状态，则能实现无后效性。 根据状态变量与决策变量的含义，正确写出状态转移方程 。 根据题意确定指标函数、最优指标函数 fk(sk) 、第 k 阶段的指标 的含义。 正确列出最优指标函数的递推关系及边界条件，即动态规划基本方程。 例：某公司有资金10万元，若投资于项目 i（i = 1, 2, 3）的投资额为 xi 时，其收益分别为 g1(x1)=4x1，g2(x2) = 9x2，g3(x3) = 2 ，问应如何分配投资额才能使总收益最大？ 解： （1）建立问题的静态模型 这是一个与时间无明显关系的静态最优化问题，可列出其静态模型： （2）将问题转化为多阶段决策过程 为了应用动态规划方法求解，需要人为地赋予它“时段”： 把问题划分为 3 个阶段，每个阶段只确定对一个项目的投资金额，首先考虑对项目 1 投资，然后考虑对项目 2 投资，最后考虑对项目 3 投资。 这样问题就转化为一个 3 段决策过程。 （3）选择决策变量 因为 xi 为每阶段的投资额，故第 k 阶段的决策变量定义为： uk = xk ：表示第 k 阶段确定的投资额。 uk = xk ，k =1, 2, 3 （4）选择状态变量 状态变量一般为随递推过程变化的量，这里选取每阶段可供使用的资金数量，故第 k 阶段的状态变量定义为： sk：表示第 k 阶段到第 3 阶段可供使用投资使用的资金数量。（满足无后效性） s1 = 10； s2 = s1 - u1； s3 = s2 - u2 。 即 s1 = 10； s2 = s1 - x1； s3 = s2 - x2 。 （5）状态转移方程 （6）选择指数函数 Vk,3：表示从第 k 阶段的状态 sk 开始，到第 3 阶段为止，采取投资策略（xk，…，x3）时所创造的收益。 Vk,3= ，k = 1, 2, 3（满足分离性和递推关系） （7）选择最优指标函数 fk(sk)：表示从第 k 阶段的状态 sk 开始，到第 3 阶段为止，采取最优投资策略（xk，…，x3）时所创造的收益。 （8）确定动态规划的基本方程 动态规划的求解有两种基本方法： 逆序解法（后向动态规划方法） 顺序解法（前向动态规划方法）。 1. 逆序解法（后向动态规划方法） （1）定义 寻优的方向与多阶段决策过程的实际行进方向相反； 从最后一阶段开始计算，逐段前推； 计算前一阶段要用到后一阶段的计算结果； 第一阶段的计算结果就是全过程的最优结果。 （2）基本方程 第 k 阶段与 k + 1 阶段的递推关系为： 2. 顺序解法（前向动态规划方法） （1）定义 寻优的方向与多阶段决策过程的实际行进方向相同； 从第一阶段开始计算，逐段后推； 计算后一阶段要用到前一阶段的计算结果； 最后一阶段的计算结果就是全过程的最优结果。 （2）基本方程 第 k 阶段与 k + 1 阶段的递推关系为： （3）算例 第一步：当 k = 0，S1 = { A } → f0( A ) = 0 第二步：当 k = 1，S2= {B1 , B2} → s2= B1时：f1(B1)= → B1 到 A 最短距离为 5 ， 决策为 u1(B1) = A，s1= A， 线路为B1A s2 = B2时：f1(B2)= → B2 到 A 最短距离为 3， u1(B2)=A，s1= A， 线路为B2A 第三步：当 k = 2，S3= { C1, C2, C3, C4 } → s3=C1时：f2(C1)= → C1到 A 最短距离为6， u2(C1)=B1，s2= B1， 线路为C1B