第3节动态规划的最优性原理和最优性定理动态规划的最优性原理.PPT

2.2 动态规划的基本思想和基本方程 动态规划的方法比穷举法有以下优点： (1) 减少了计算量。计算例1若用穷举法，就要对48条路线进行比较，运算在计算机上进行时，比较运算要进行47次；求各条路线的距离，即使用逐段累加方法，也要进行6+12+24+48+48＝138次加法运算。用动态规划方法来计算，比较运算(从k=5段开始向前算)共进行3+3+4+4+1＝15次。每次比较运算相应有两次加法运算，再去掉中间重复两次(即B1→C1，B2→C4各多算了一次)，实际只有28次加法运算。可见，动态规划方法比穷举法减少了计算量。而且随着段数的增加，计算量将大大地减少。 (2) 丰富了计算结果。在逆序(或顺序)解法中，我们得到的不仅仅是由A点(或G点)出发到G点(或A点)的最短路线及相应的最短距离，而且得到了从所有各中间点出发到G点(或A点)的最短路线及相应的距离。这就是说，求出的不是一个最优策略，而是一族的最优策略。 清华大学出版社 * 2.2 动态规划的基本思想和基本方程 建立动态规划模型的五个要点： (1) 将问题的过程划分成恰当的阶段； (2) 正确选择状态变量sk，使它既能描述过程的演变，又要满足无后效性； (3) 确定决策变量uk及每阶段的允许决策集合Dk(sk)； (4) 正确写出状态转移方程； (5) 正确写出指标函数Vk,n的关系，它应满足下面三个性质： ① 是定义在全过程和所有后部子过程上的数量函数； ② 要具有可分离性，并满足递推关系。即 ③ 函数 对于变量Vk+1,n要严格单调。 清华大学出版社 * 2.2 动态规划的基本思想和基本方程 下面考虑动态规划基本方程。 设指标函数是取各阶段指标的和的形式，即 其中 表示第j段的指标。它显然是满足指标函数三个性质的。所以上式可写成 当初始状态给定时，过程的策略就被确定，则指标函数也就确定了。 因此，指标函数是初始状态和策略的函数。可记为 。 清华大学出版社 * 2.2 动态规划的基本思想和基本方程 上面递推关系又可写成 其子策略 可看成是由决策 和 组合而成。即 如果用p*k,n(sk)表示初始状态为sk的后部子过程所有子策略中的最优子策略，则最优值函数为 而 清华大学出版社 * 2.2 动态规划的基本思想和基本方程 所以，得到动态规划逆序解法的基本方程： 边界条件为 但 式中 求解过程，根据边界条件，从k=n开始，由后向前逆推，从而逐步可求得各段的最优决策和相应的最优值，最后求出 时，就得到整个问题的最优解。 清华大学出版社 * 2.2 动态规划的基本思想和基本方程 动态规划顺序解法的基本方程 边界条件为 式中 求解过程：根据边界条件，从k=1开始，由前向后顺推，逐步求得各段的最优决策和相应的最优值，最后求出 ， 就得到整个问题的最优解。 清华大学出版社 * 第3节 动态规划的最优性原理和最优性定理 动态规划的最优性原理： “作为整个过程的最优策略具有这样的性质：即无论过去的状态和决策如何，对前面的决策所形成的状态而言，余下的诸决策必须构成最优策略。” 简言之，一个最优策略的子策略总是最优的。 动态规划的基本方程或者说最优性定理才是动态规划的理论基础 清华大学出版社 * 第3节 动态规划的最优性原理和最优性定理 动态规划的最优性定理：设阶段数为n的多阶段决策过程，其阶段编号为 k=0，1，…，n-1 允许策略 为最优策略的充要条件是对任意一个k 有 式中 ，它是由给定的初始状态s0和子策略 所确定的k段状态。当V是效益函数时，opt取max；当V是损失函数时，opt取min。 清华大学出版社 * 第4节 动态规划和静态规划的关系 相同点 动态规划、线性规划和非线性规划都属于数学规划范围，研究对象本质上都是求极值问题，都是利用迭代法去逐步求解。 不同点 线性规划和非线性规划研究的问题通常与时间无关，故又称为静态规划。线性规划迭代中的每一步是就问题的整体加以改善的。 动态规划研究的问题与时间有关，研究具有多阶段决策过程的一类问题，将问题的整体按时间或空间的特征分成若干个前后衔接的时空阶段，把多阶段决策问题表示为前后有关联的一系列单阶段决策问题，然后逐个加以解决，从而求出整个问题的最优决策序列。 对于某些静态问题，也可以人为地引入时间因素，把它看作是按阶段进行的一个动态规划问题，这就使得动态规划成为求解某些线性、非线性规划的有效方法。 清华大学出版社 * 第4节 动态规划和静态规划的关系 动态规划方法 逆序解法 顺序