动态规划算法.pdfVIP

动态规划算法 一、基本概念 动态规划过程是：每次决策依赖于当前状态，又随即引起状态的转 移。一个决策序列就是在变化的状态中产生出来的，所以，这种多阶段 最优化决策解决问题的过程就称为动态规划。 二、基本思想与策略 基本思想与分治法类似，也是将待求解的问题分解为若干个子问题 （阶段），按顺序求解子阶段，前一子问题的解，为后一子问题的求解 提供了有用的信息。在求解任一子问题时，列出各种可能的局部解，通 过决策保留那些有可能达到最优的局部解，丢弃其他局部解。 依次解决 各子问题，最后一个子问题就是初始问题的解。 由于动态规划解决的问题多数有重叠子问题这个特点，为减少重复 计算，对每一个子问题只解一次， 将其不同阶段的不同状态保存在一个 二维数组中。 与分治法最大的差别是： 适合于用动态规划法求解的问题，经分解 后得到的子问题往往不是互相独立的 （即下一个子阶段的求解是建立在 上一个子阶段的解的基础上，进行进一步的求解） 。 三、适用的情况 能采用动态规划求解的问题的一般要具有 3 个性质： (1) 最优化原理：如果问题的最优解所包含的子问题的解也是最优 的，就称该问题具有最优子结构，即满足最优化原理。 (2) 无后效性：即某阶段状态一旦确定，就不受这个状态以后决策 的影响。也就是说，某状态以后的过程不会影响以前的状态，只与当前 状态有关。 （3 ）有重叠子问题：即子问题之间是不独立的，一个子问题在下一 阶段决策中可能被多次使用到。 （该性质并不是动态规划适用的必要条 件，但是如果没有这条性质， 动态规划算法同其他算法相比就不具备优 势 ） 四、求解的基本步骤 动态规划所处理的问题是 一个多阶段决策问题 ，一般由初始状态开 始，通过对中间阶段决策的选择，达到结束状态。这些决策形成了一个 决策序列，同时确定了完成整个过程的一条活动路线 ( 通常是求最优的 活动路线 ) 。如图所示。动态规划的设计都有着一定的模式，一般要经 历以下几个步骤。 初始状态 → │决策１ │→ │决策２ │→ …→ │决策ｎ │→结束状态 图 1 动态规划决策过程示意图 (1) 划分阶段 ：按照问题的时间或空间特征， 把问题分为若干个阶段。 在划分阶段时，注意 划分后的阶段一定要是有序的或者是可排序的 ，否 则问题就无法求解。 (2) 确定状态和状态变量 ：将问题发展到各个阶段时所处于的各种客 观情况用不同的状态表示出来。当然，状态的选择要满足无后效性。 (3) 确定决策并写出状态转移方程 ：因为决策和状态转移有着天然的 联系， 状态转移就是根据上一阶段的状态和决策来导出本阶段的状态 。 所以如果确定了决策，状态转移方程也就可写出。 但事实上常常是反过 来做，根据相邻两个阶段的状态之间的关系来确定决策方法和状态转移 方程 。 (4) 寻找边界条件 ：给出的 状态转移方程是一个递推式 ，需要一个递 推的终止条件或边界条件。 一般，只要解决问题的 阶段 、状态 和状态转移决策 确定了，就可以 写出 状态转移方程（包括边界条件）。 实际应用中可以按以下几个简化的步骤进行设计： （1 ）分析最优解的性质，并刻画其结构特征。 （2 ）递归的定义最优解。