第5章节 动态规划.ppt

第五章 动态规划(DP) §1　多阶段决策过程最优化问题 §2　动态规划的基本概念、基本思想 §3　动态规划的基本方法 §4　动态规划的应用 多阶段决策过程最优化问题 一、动态规划分支简介 1951年，美国运筹学家Belman(贝尔曼)提出了解决多阶段决策问题的“最优化原理”，1957年贝尔曼的专著《动态规划》一书问世，标志着这一分支的诞生。 动态规划是解决多阶段决策问题的最优化方法。 多阶段决策过程最优化问题 动态规划是求解多阶段决策问题的一种方法，是考察问题的一种途径，它没有统一的数学模型和算法，必须对具体问题进行具体分析，针对不同的问题，运用动态规划的原理和方法，建立起相应的模型，然后再用动态规划方法去求解。 多阶段决策过程最优化问题 二、多阶段决策过程最优化问题基本特征 1. 阶段性。 决策的全过程可依据时间或空间顺序划分相互联系的若干阶段。每一阶段即为一个子问题。这样就将原问题的求解转化为逐个求解几个单阶段子问题。 2. 每个阶段都要做出决策，当求解了每一阶段的子问题后，整个决策过程也随之确定。 　多阶段决策过程最优化问题 例：最短路径问题 求A到E的最短路径。  　基本概念、基本思想 3、决策：当过程处于某个阶段的某个状态时，从该状态向下一状态过渡时所做的选择。用决策变量xk(sk)来描述。 例： x2(B1)={c1, c2, c3}(表示处于第2阶段B1状态时，向第3阶段过渡时可能的选择有 c1, c2或 c3 。 若 x2(B1)=c1 ，则表示处于第2阶段B1状态时，向第3阶段过渡时选择了c1，即选择了路径：  　基本概念、基本思想 4、策略：一个按顺序排列的决策组成的集合。记为 Pk,n(sk) （假设多阶段问题的整个过程划分为n个阶段。） 若k=1,即P1,n(s1)即为全过程策略。 P1,n(s1)={x1(s1), x2(s2) …，xn(sn)} 若k＞1，则表示从第k阶段开始到最后第n阶段的决策序列，称k子过程策略。 Pk,n(sk)={xk(sk), xk+1(sk+1) …，xn(sn)} 基本概念、基本思想 5.指标函数 衡量全过程策略或k子过程策略决策效果的优劣的数量指标。 阶段指标vk 衡量每一阶段决策效果的优劣的数量指标。 第k阶段sk状态下作出xk(sk),决策的指标值。记作：vk (sk, xk(sk), ) 最优指标函数 衡量全过程策略或子过程策略最优指标函数。记作： fk(sk)。 当K=1时，f1(s1)为全过程上的最优指标函数； 当K＞1时, fk(sk)为K子过程上的最优指标函数。 基本概念、基本思想 6.状态转移方程 表示从某状态出发到下一阶段某状态的转移规律。记作： Sk+1=T(sk, xk(sk)) 第k+1阶段的状态是由第k阶段的状态和决策决定的。 例如：S3=T (B2, C1) = C1 　基本概念、基本思想 例如最短路问题重要性质： 对最短路问题来说，从最短路上的任一点到终点的部分道路（最短路上的子路）也一定是从该点到终点的最短路（最短子路）。 　基本概念、基本思想 证明：假设A P H E是一条最短路线，则P H E必定是从P点出发到终点E的所有可选择的子路线中最短的路线。 　基本概念、基本思想 2. 逆序算法 根据最优化原理，逆序寻优，各阶段求解都是在后部子过程策略基础上，计算本阶段最优策略，直至求解到第一阶段，也就求得了整个过程上的最优决策方案。 基本概念、基本思想 举例：最短路问题的逆序算法（逆推法和顺推法）。 从最后一段开始，用由后向前逐步递推的方法，求出各点到终点最短路线。当递推到第1阶段，也就求出了整个过程即从起点到终点的最短路线。 若寻优方向与行进方向（阶段顺序）正好相逆，则称为逆推法。反之，称为顺推法。 基本概念、基本思想 3. 动态规划的基本方程 递推公式： fk(sk)=OPT{vk(sk,xk)+fk+1(sk+1)}(k=n,n-1, …,2,1) 终点条件： fn+1(sn+1)=0 举例：最短路问题 fk(sk)：第k阶段从状态sk到终点的最短距离； vk(sk,xk)：第k阶段从状态sk到xk的距离。  　动态规划的基本方法 逆序算法求解 例：最短路问题：  　动