机器学习07__动态规划.pdf免费

机器学习机器学习—— 动态规划动态规划 智能工程研究室 计算机科学与技术学院计算机科学与技术学院 什么是动态规划什么是动态规划?? •多阶段决策过程（multistep decision process ） 是指是指 这样这样一类特殊的活动过程类特殊的活动过程，该过程可以按时间顺序该过程可以按时间顺序 分解成若干个相互联系的阶段，在每一个阶段都需要做 出决策出决策，全部过程的决策是全部过程的决策是一个决策序列个决策序列。 动态规划动态规划 （（dynamicdynamic programmingprogramming ））算法算法 是解决多阶段是解决多阶段 决策过程最优化问题的一种技巧性较强的常用方法，。 •利用动态规划算法，可以优雅而高效地解决很多贪婪算 法或分治算法不能解决的问题法或分治算法不能解决的问题。 什么是动态规划什么是动态规划?? •动态规划算法将问题的解决方案视为一系列决策的结果 •与贪婪算法不同的是，每采用一次贪婪准则，便做出一 个不可撤回的决策个不可撤回的决策；而在动态规划算法中而在动态规划算法中，还要考察每还要考察每 个最优决策序列中是否包含一个最优决策子序列，即问 题是否具有最优子结构性质题是否具有最优子结构性质。。 • 适合使用动态规划求解的问题适合使用动态规划求解的问题 • 动态规划算法的有效性依赖于待求解问题本身具有的 两个重要性质两个重要性质：：最优子结构性质和子问题重叠性质最优子结构性质和子问题重叠性质。 • 1 、最优子结构性质。如果问题的最优解所包含的子 问题的解也是最优的，我们就称该问题具有最优子结 构性质（ 即满足最优化原理 ）。最优子结构性质为 动态规划算法解决问题提供了重要线索。 • 2 、子问题重叠性质。子问题重叠性质是指在用递归 算法自顶向下对问题进行求解时，每次产生的子问题 并不总是新问题并不总是新问题，有些子问题会被重复计算多次有些子问题会被重复计算多次。动动 态规划算法正是利用了这种子问题的重叠性质，对每 一个子问题只计算一次，然后将其计算结果保存在一 个表格中，当再次需要计算已经计算过的子问题时， 只是在表格中简单地查看一下结果，从而获得较高的 解题效率解题效率。。 最优化原理最优化原理 （（最优子结构性质最优子结构性质 ）） • 作为一个全过程的最优策略具有这样的性质： 对于最优策略过程中的任意状态而言对于最优策略过程中的任意状态而言，无论其无论其 过去的状态和决策如何，余下的诸决策必构成 一个最优子策略个最优子策略。即即：： 一个最优策略的子策略总是最优的 • 一个问题满足最优化原理个问题满足最优化原理，又称其具有最优子又称其具有最优子 结构性质。 动态规划的两条重要性质动态规划的两条重要性质 • 一个优化问题能够用动态规划方法求解个优化问题能够用动态规划方法求解 的关键在于： 1. 最优子结构 每个子结构都是最优的每个子结构都是最优的 (最优化理论) 动态规划的两条关键性质动态规划的两条关键性质 • 动态规划算法正是利用 了这种子问题的重叠性了这种子问题的重叠性 质，对每一个子问题只 2. 重叠子问题 解解一次次，，而后将其解保而后将其解保 存在一个表格中，在以 后尽可能多地利用这些 子问题的解 子问题之间不是独立的， 大量子问题是重叠的大量子问题是重叠的 动态规划算法的三个基本元素动态规划算法的三个