pascal算法讲义-第十一讲.pdf

百度Pascal 吧公开培训教材-Pascal 培训课程算法讲义-第十一讲 第十一讲 动态规划 一、动态规划总述 动态规划(dynamic programming)是运筹学的一个分支，是求解决 策过程(decision process)最优化的数学方法。20 世纪50 年代初美国数 学家 R.E.Bellman 等人在研究多阶段决策过程(multistep decision process) 的优化问题时，提出了著名的最优化原理(principle of optimality) ，把多阶段过程转化为一系列单阶段问题，利用各阶段之 间的关系，逐个求解，创立了解决这类过程优化问题的新方法——动 态规划。1957 年出版了他的名著《Dynamic Programming》，这是该领 域的第一本著作。 跟分治法一样，动态规划也是通过组合子问题的解而解决整个问 题的。分治法可以把问题划分成一些独立的子问题，递归的求解各个 子问题，然后合并子问题的解而得到原问题的解。与此不同，动态规 划适用于子问题不独立的情况，也就是各子问题包含公共的子子问题。 这种情况下，分治法就会有大量的重复计算，即重复求解公共子子问 题。动态规划对每个子子问题只求解一次，将结果存在一张表里，从 而避免每次遇到各个子问题时重新计算答案。 动态规划通常应用于最优化问题。此类问题一般有很多很多种可 行解，每个解有一个值，而我们希望找出一个具有最优(最大或最小) 值的解。称这样的解为该问题的最优解（而不是确定的最优解），因 为可能存在多个取值最优的解。 动态规划算法的设计可以分为如下4 个步骤： 第1 页，共42 页 百度Pascal 吧公开培训教材-Pascal 培训课程算法讲义-第十一讲 1)描述最优解的结构 2)递归定义最优解的值，这个递归方程称为状态转移方程 3)按自底向上的方式计算最优解的值 4) 由计算结果构造一个最优解(一般竞赛时无需构造，如果有要求 则有时需要在第三步的计算中记录一些附加信息) 。 下面介绍一些术语，希望读者在阅读完整节内容后进行理解： 阶段：把所给求解问题的过程恰当地分成若干个相互联系的阶段， 以便于求解，过程不同，阶段数就可能不同．描述阶段的变量称为阶 段变量。在多数情况下，阶段变量是离散的，用k 表示。此外，也有 阶段变量是连续的情形。如果过程可以在任何时刻作出决策，且在任 意两个不同的时刻之间允许有无穷多个决策时，阶段变量就是连续的。 状态：状态表示每个阶段开始面临的自然状况或客观条件，它不 以人们的主观意志为转移，也称为不可控因素。 过程的状态通常可以用一个或一组数来描述，称为状态变量。一 般，状态是离散的，但有时为了方便也将状态取成连续的。当然，在 现实生活中，由于变量形式的限制，所有的状态都是离散的，但从分 析的观点，有时将状态作为连续的处理将会有很大的好处。此外，状 态可以有多个分量(多维情形)，因而用向量来代表；而且在每个阶段 的状态维数可以不同。 当过程按所有可能不同的方式发展时，过程各段的状态变量将在 某一确定的范围内取值。状态变量取值的集合称为状态集合。 无后效性：我们要求状态具有下面的性质：如果给定某一阶段的 第2 页，共42 页 百度Pascal 吧公开培训教材-Pascal 培训课程算法讲义-第十一讲 状态，则在这一阶段以后过程的发展不受这阶段以前各段状态的影响， 所有各阶段都确定时，整个过程也就确定了。换句话说，过程的每一 次实现可以用一个状态序列表示，在前面的例子中每阶段的状态是该 线路的始点，确定了这些点的序列，整个线路也就完全确定。从某一 阶段以后的线路开始，当这段的始点给定时，不受以前线路（所通过 的点）的影响。状态的这个性质意味着过程的历史只能通过当前的状 态去影响它的未来的发展，这个性质称为无后效性。 决策：一个阶段的状态给定以后，从该状态演变到下一阶段某个 状态的一种选择（行动）称为决策。在最优控制中，也称为控制。在 许多问题中，决策可以自然而