第六篇 动态规划.ppt

第六章 动态规划 动态规划求解的多阶段决策问题的特点 通常多阶段决策过程的发展是通过状态的一系列变换来实现的。一般情况下，系统在某个阶段的状态转移除与本阶段的状态和决策有关外，还可能与系统过去经历的状态和决策有关。因此，问题的求解就比较困难复杂。而适合于用动态规划方法求解的只是一类特殊的多阶段决策问题，即具有“无后效性”的多阶段决策过程。所谓无后效性，又称马尔柯夫性，是指系统从某个阶段往后的发展，仅由本阶段所处的状态及其往后的决策所决定，与系统以前经历的状态和决策(历史)无关。 第一种方法称做全枚举法或穷举法。它的基本思想是列举出所有可能发生的方案和结果，再对它们一一进行比较，求出最优方案。这里从A到E的路程可以分为4个阶段。第一、二阶段的走法有三种，第三阶段的走法有两种，第四段的走法仅一种，因此共有3×3×2×1＝18条可能的路线，分别算出各条路线的距离，最后进行比较，可知最优路线是A→B2 → C1 → D1 →E,最短距离是19． 显然，当组成交通网络的节点很多时，用穷举法求最优路线的计算工作量将会十分庞大，而且其中包含着许多重复计算． 第二种方法即所谓“局部最优路径”法，是说某人从A出发，他并不顾及全线是否最短，只是选择当前最短途径，“逢近便走”，错误地以为局部最优会致整体最优，在这种想法指导下，所取决策必是A→B2 → C1 → D1 →E ，全程长度是25；显然，这种方法的结果常是错误的． 第三种方法是动态规划方法。动态规划方法寻求该最短路问题的基本思想是， 如果A= S1 →S2 →… → Sk →… → Sn →E是A到E的最短路，则Sk到E的最短路一定是Sk →… → Sn →E。 首先将问题划分为4个阶段，每次的选择总是综合后继过程的一并最优进行考虑，在各段所有可能状态的最优后继过程都已求得的情况下，全程的最优路线便也随之得到。 为了找出所有可能状态的最优后继过程，动态规划方法总是从过程的最后阶段开始考虑，然后逆着实际过程发展的顺序，逐段向前递推计算直至始点。 综上所述可见，全枚举法虽可找出最优方案，但不是个好算法，局部最优法则完全是个错误方法，只有动态规划方法属较科学有效的算法。它的基本思想是，把一个比较复杂的问题分解为一系列同类型的更易求解的子问题，便于应用计算机。整个求解过程分为两个阶段，先按整体最优的思想逆序地求出各个子问题中所有可能状态的最优决策与最优路线值，然后再顺序地求出整个问题的最优策略和最优路线。计算过程中，系统地删去了所有中间非最优的方案组合，从而使计算工作量比穷举法大为减少。 第二节 动态规划的基本概念和基本原理 多阶段决策过程： 整个决策过程可按时间或空间顺序分解成若干相互联系的阶段，每一阶段都需作出决策，全部过程的决策是一个决策序列。 多阶段决策过程最优化的目标： 达到整个活动过程的总体效果最优，而非各单个阶段最优的简单总和。 使用动态规划方法解决多阶段决策问题，首先要将实际问题写成动态规划模型，同时也为了今后叙述和讨论方便，这里需要对动态规划的下述一些基本术语进一步加以说明和定义： 一般状态变量的取值有一定的范围或允许集合，称为可能状态集（set of admissible states） 。可能状态集实际上是关于状态的约束条件。通常可能状态集用相应阶段状态sk的大写字母Sk表示，可能状态集可以是一离散取值的集合，也可以为一连续的取值区间，视具体问题而定．例如上面的最短路问题中，第一阶段状态为A，状态变量s1的状态集合S1={A}；第二阶段则有三个状态：B1 ,B2 ,B3 ,状态变量s2的状态集合S2={B1 ,B2 ,B3 } . 指标函数Vk,n(sk, pk,n )通常是描述所实现的全过程或k后部子过程效果优劣的数量指标，它是由各阶段的阶段指标函数dk(sk,uk)累积形成的，适于用动态规划求解的问题的指标函数，必须具有关于阶段指标的可分离形式．对于后部子过程的指标函数可以表示为： 总之，具体问题的目标函数表达形式需要视具体问题而定。 即 多阶段决策问题的数学模型 综上所述，适于应用动态规划方法求解的一类多阶段决策问题，亦即具有无后效性的多阶段决策问题的数学模型呈以下形式: 一般地，对于n个阶段的决策过程，假设只考虑指标函数是“和”与“积”的形式，第k阶段和第k+1阶段间的递推公式可表示如下：