教案_动态规划1_1素材.ppt

第四节： 动态规划的理论基础和 具体迭代方 法 多阶段决策过程的特点：每个阶段都要进行决策，策略是由n个相继进行的决策构成的决策序列。前一阶段的终止状态又是下一阶段的初始状态，因此，确定阶段最优决策不能只从阶段的效应来考虑，必须是整个过程通盘考虑，整体规划。即阶段k的最优决策不应该只是本阶段效应的最优，而必须是本阶段及其所有后续阶段的总体最优。 动态规划方法的理论基础是基于R. Bellman提出的最优性原理：“一个过程的最优策略具有这样的性质：即无论其初始状态及初始决策如何，对于先前决策所形成的状态而言，余下的诸决策仍构成最优策略。” A M B 1 . 理论基础 适应于用动态规划方法求解的是具有无后效性的多阶段决策过程。 最优性原理的含义是：最优策略的任何一部分子策略，也是它相应初始状态的最优策略。每个最优策略只能由最优子策略构成。 动态规划的最优性定理：设阶段数为n的多阶段决策过程，其阶段编号为k=0,1,...,n-1。允许策略 是最优策略的充要条件是对任意一个k, 0kn-1和s0?S0，有 它是由给定的初始状态s0和子策略p0,k-1所确定的k段状态。当V是效益函数时，opt取max;当V是损失函数时，opt取min. 证明：必要性（ ） * 动态规划（Dynamic Programming） R. Bellman50年代执教于普林斯顿和斯坦福大学，后进入兰德（Rand）研究所。1957年发表“Dynamic Programming”一书，标识动态规划的正式诞生。 动态规划的研究对象和引例 动态规划的理论基础和具体迭代方 法 动态规划的基本思想和基本方程 动态规划的基本概念和定义 动态规划是解决复杂系统优化问题的一种方法。是解决动态系统多阶段决策过程的基本方法之一。 A B1 B2 C1 C2 C3 C4 D1 D2 D3 E1 E2 E3 F1 F2 G 5 3 1 3 6 8 7 6 6 8 3 5 3 3 8 4 2 2 1 2 3 3 3 5 5 2 6 6 4 3 1 2 3 4 5 6 第一节 动态规划的引例和研究对象 引例1 最短路问题 一、 引例 引例2：投资金额分配问题 41 48 60 66 42 50 60 66 48 64 68 78 76 A B C 投资额（百万元） 0 1 2 3 4 投资项目 某公司有资金4百万元，可以向 A、B、C三个项目追加投资，各项目可以有不同的投资额，相应的效益值如表所示。如何分配资金使总效益值最大？ 48 64 68 78 78 0 1 2 3 3 -- -- -- -- 48 64 -- -- -- 48 64 68 -- -- 48 64 68 78 -- 48 64 68 78 76 0 1 2 3 4 最优决策的效益值 最优决策 决策（分配资金额） 0 1 2 3 4 状态 （未分的资金额） 1.对于项目C 41 48 60 66 42 50 60 66 48 64 68 78 76 A B C 投资额（百万元） 0 1 2 3 4 投资项目 ?求解过程 2.对于项目B 88 104 90 108 106 98 118 110 114 108 118 120 118 124 114 48 64 48 68 64 48 78 68 64 48 78 78 68 64 48 40 40 42 40 42 50 40 42 50 60 40 42 50 60 66 0 1 0 2 1 0 3 2 1 0 4 3 2 1 0 0 0 1 0 1 2 0 1 2 3 0 1 2 3 4 0 1 1 2 2 2 3 3 3 3 4