北邮运筹学ch6-2_动态规划方法的步骤.pdf

第九章动态规划 （续） 本章以下内容 动态规划的基本原理 动态规划方法的基本步骤 动态规划方法应用举例 2013-5-17 运筹学 北京邮电大学 1 动态规划的基本原理 最优化原理 （贝尔曼最优化原理） 作为一个全过程的最优策略具有这样 的性质：对于最优策略过程中的任意状态 而言，无论其过去的状态和决策如何，余 下的诸决策必构成一个最优子策略。该原 理的具体解释是，若某一全过程最优策略 为：      p (s ) {u (s ),u (s ),,u (s ),u (s )} 1 1 1 1 2 2 k k n n 则对上述策略中所隐含的任一状态而言， 第k子过程上对应于该状态的最优策略必然 包含在上述全过程最优策略p 1* 中，即为 p  (s ) {u  (s ), u  (s ),  , u  (s )} k k k k k 1 k 1 n n 2013-5-17 运筹学 北京邮电大学 2 3.动态规划方法的基本步骤 1．应将实际问题恰当地分割成n个子 问题(n个阶段)。通常是根据时间或空间 而划分的，或者在经由静态的数学规划 模型转换为动态规划模型时，常取静态 规划中变量的个数n，即k=n。 2 ．正确地定义状态变量sk ，使它既 能正确地描述过程的状态，又能满足无 后效性．动态规划中的状态与一般控制 系统中和通常所说的状态的概念是有所 不同的，动态规划中的状态变量必须具 备以下三个特征： 2013-5-17 运筹学 北京邮电大学 3 3.动态规划方法的基本步骤 (1)要能够正确地描述受控过程的变化特征。 (2)要满足无后效性。即如果在某个阶段状态 已经给定，那么在该阶段以后，过程的发展不受 前面各段状态的影响，如果所选的变量不具备无 后效性，就不能作为状态变量来构造动态规划的 模型。 (3)要满足可知性。即所规定的各段状态变量 的值，可以直接或间接地测算得到。一般在动态 规划模型中，状态变量大都选取那种可以进行累 计的量。此外，在与静态规划模型的对应关系 上，通常根据经验，线性与非线性规划中约束条 件的个数，相当于动态规划中状态变量s 的维 k 数．而前者约束条件所表示的内容，常就是状态 2013-5-17 运筹学 北京邮电大学 4 变量s 所代表的内容。 k 3.动态规划方法的基本步骤 3．正确地定义决策变量及各阶段的允许 决策集合U (s )，根据经验，一般将问题中待 k k 求的量，选作