运筹学7动态规划.pptVIP

主要内容: §7.1 多阶段决策过程的最优化 §7.2 动态规划的基本概念和基本原理 §7.3 动态规划模型的建立与求解 §7.4 动态规划应用举例 教学要求： 1．掌握动态规划的基本概念：阶段、状态、决策、策略、状态转移方程、指标函数和最优值函数、最优策略、最优轨线 2．了解动态规划的基本理论：最优性定理和最优性原理 3．掌握动态规划基本思想和基本方程 4．牢固掌握动态规划的顺序解法和逆序解法。会处理动态与静态规划的关系 5．了解和掌握若干典型问题的动态规划模型及求解技巧：如最短路线、资源分配、生产计划、货物存储、设备更新与系统可靠性问题、背包问题、推销商问题等 6．了解多维动态规划降维方法和减少离散状态点数方法 7．了解随机性问题的动态规划求解方法 重点：动态规划顺序解法和逆序解法；若干典型问题动态规划模型及求解技巧； 难点：建立动态规划数学模型的状态转移方程。 §7.1 多阶段决策过程的最优化 动态规划（Dynamic Programming）是运筹学的一个重要分支，它是解决多阶段决策过程最优化的一种方法。美国数学家贝尔曼（R. E. Bellman）等人在50年代初提出了解决多阶段决策问题的“最优性原理”（Principle of Optimality）。1957年贝尔曼出版了专著“动态规划”，该书是动态规划的第一本著作。目前动态规划已经用于解决最优路径问题、资源分配问题、生产调度问题、设备更新问题、复合系统可靠性问题及生产过程最优控制等，并且取得了显著的效果。 动态规划是求解问题的一种方法，而不是算法（线性规划是一种算法），因而没有标准的数学表达式，对于具体问题需要具体分析。 一、多阶段决策问题 在生产经营活动中，某些问题决策过程可以划分为若干相互联系的阶段，每个阶段需要做出决策，从而使整个过程取得最优。由于各个阶段不是孤立的，而是有机联系的，也就是说，本阶段的决策将影响过程下一阶段的发展，从而影响整个过程效果，所以决策者在进行决策时不能够仅考虑选择的决策方案使本阶段最优，还应该考虑本阶段决策对最终目标产生的影响，从而做出对全局来讲是最优的决策。当每个阶段的决策确定以后，全部过程的决策就是这些阶段决策所组成的一个决策序列，所以多阶段决策问题也称为序贯决策问题。 §7.2 动态规划的基本概念和基本原理 一、动态规划的基本概念 运用动态规划求解多阶段决策问题，首先要将该问题写成动态规划模型，再进行求解，动态规划模型中用到的概念及符号如下： 例6 最短路问题 如图7-2所示，要从A地到E地铺设管线，中间需要经过三个中间站，两点之间的连线上的数字表示距离，问应该选择什么路线，使总距离最短？ 1.阶段（stage） 根据所需解决问题的特点，按照时间或空间顺序把整个过程划分为若干相互联系的阶段，以便按照一定次序求解。描述阶段的变量称为阶段变量，通常用字母k表示阶段变量。例如例6中，从A到E可以划分为四个阶段，第一阶段k=1，从A到B（B有三种选择，B1，B2，B3）；第二阶段k=2，从B到C（C有四种选择，C1，C2，C3，C4）；第三阶段k=3，从C到D（D有两种选择，D1，D2）；第四阶段k=4，从D到E。 例6可以分为四个阶段来求解，k=1，2，3，4。 2.状态（state） 状态表示各阶段开始所处的自然状况或客观条件，它既是某阶段过程演变的起点，又是前一阶段某种决策的结果。描述状态的变量称为状态变量，常用sk表示第k阶段的状态变量。状态变量sk的取值集合称为状态集合，第k阶段的状态集合记为Sk ，例如例6中，第一阶段状态为A，第二阶段有三个状态：B1，B2，B3；第三阶段有四个状态：C1，C2，C3，C4；第四阶段有两个状态：D1，D2；各阶段状态集合分别为： S1=｛A｝ S2=｛B1，B2，B3｝ S3=｛C1，C2，C3，C4｝ S4=｛D1，D2｝ 这里状态的选取应当满足无后效性：系统从某个阶段往后的发展演变，完全由系统本阶段所处的状态及决策所决定，与系统以前的状态及决策无关。也就是说，过去的历史只能通过当前的状态去影响未来的发展，当前的状态是过去历史的一个完整总结。只有具有无后效性的多阶段决策过程才适合于用动态规划方法求解。 例6中，当某个阶段已经选定某个点时，这个点以后的管线铺设只与该点有关，而与该点以前的管线铺设无关，所以满足无后效性。 3.决策（decision） 当各阶段的状态选定以后，可以做出不同的决定（或选择