最优化理论chap7_动态规划应用.pptVIP

第七章 动态规划 动态规划问题的基本概念和基本原理 动态规划模型的建立与求解 应用举例 马氏决策规划 应用举例 背包问题 背包问题标准模型 装载问题 例3 模型 第1步 第2步 第3步 算法分析 允许状态 求解 解法总结 设备更新问题 问题分析 迭代方程 例4 迭代方程 第 1步 第 2步 第 3步 第 3步 第 2步 第 1步 结果 货郎担问题(TSP ) 穷举法复杂度 常用算法 问题分析 最优指标 递推关系 例5 第 1步 第 2步 第 4步 例6 离散系统最优控制 问题分析 迭代方程 第 1步 第 2步 第 3步 最优控制问题 连续系统最优控制 HJB方程 定常系统 举例 例7 生产经营问题 问题分析 问题分析 第 1步 第 2步 其他 Markov过程 报酬矩阵 Markov决策规则 决策过程 K R R R K x* 1 1 1 1 0 sk 5 4 3 2 1 k n个城镇vi， vi到vj的距离为dij,一个货郎从城镇v1出发，经过且仅经过其他每个城镇1次，回到v1 ，应如何选择路线，使总的行程最短？ 若n=20，m=1.22?1017, 设计算机每秒搜索1亿条路径 需38.6年。 贪心法 分枝定界法 搜索算法 动态规划法 Hopfield网络法 能量函数法 蚁群算法 阶段： 分为n个阶段 k = 1, 2, …,n 状态sk：第k步所在的城市 不能保证无后效性！ 状态sk：第k步出发时已走过的城市集合 决策uk: 第k步的目的地 s1=v1 s2={v1, vi } ={s1, u1} u1= vi ? v1 s3 ={s2, u2 } u2 ?s2 。。 sk={sk-1, uk-1 } uk-1?sk-1 un=v1 阶段指标函数：v(sk,uk)=d(uk-1,uk)=dji 设uk= vi , uk-1= vj 现在的位置 fk(sk+1): 从v1出发，经过sk中的城市，到达uk的最短距离 若采用顺序法解，定义最优指标函数为： 初始和终点状态已知 递推关系： uk ?sk, k=1,2,3; u4= v1 例5：四个城市间的距离如下表，求从城市1出发的货郎担问题。 0 5 5 6 4 8 0 8 5 3 7 9 0 8 2 9 7 6 0 1 4 3 2 1 dij k =1 f1({1},2)= d12 + f0(1)=6 f1({1},3)= d13 + f0(1) =7 f1({1},4)= d14 + f0(1) =9 k =2 f2( {1,3},2)= d32 + f1({1},3) =8+7=15 f2( {1,4},2)= d42 + f1({1},4) =5+9=14 f2( {1,2},3)= d23 + f1({1},2) =9+6=15 f2( {1,4},3)= d43 + f1({1},4) =5+9=14 f2({1,2},4)= d24 + f1({1},2) =7+6=13 f2( {1,3},4)= d34 + f1({1},3) =8+7=15 k =3 f3({1,3,4},2)= min{ d32+ f2({1,4},3), d42+ f2({1,3},4)}} =min{ 8+14, 5+15 }=20 f3({1,2,4},3)= min{ d23+ f2({1,4},2), d43+ f2({1,2},4)} =min{ 9+14, 5+13 }=18 f3({1,2,3},4)= min{ d24+ f2({1,3},2), d34+ f2({1,2},3)} =min{ 7+15, 8+15 }=22 k =4 f4({1,2,3,4},1) = min{ d21+f3({1,3,4},2), d31+f3 ({1,2,4},3), d41+f3({1,2,3},4) } =min{ 8+20, 5+18, 6+22}=23 最优路线：1?2 ?4 ?3 ?1 例6：一阶系统 求最优控制u*，使下列目标最小： 阶段： 分为3个阶段 k = 0, 1,2 状态变量xk 决策变量uk 状态转移方程： xk+1 = 2xk+ uk 阶段指标函数：vk = xk2 + uk2 最优指标函数Jk*(xk): 阶段k到阶段2的阶段 最优指标