第六章动态规划总汇.ppt

第七章 动 态 规 划 （Dynamic Programming） 主要内容： 第一节 多阶段决策过程的最优化 第二节 动态规划的基本概念和基本原理 第三节 动态规划的建模与求解 第四节 动态规划在经济管理中的应用 第一节 多阶段决策过程的最优化 一、多阶段决策过程的最优化的相关概念 动态规划：是解决多阶段决策过程最优化问题的一种方法。由美国数学家贝尔曼等人提出。 多阶段决策过程 是指某一些特殊的活动过程，它们可以按照时间顺序划分为若干个相互联系的阶段（时段），在每个阶段都需要进行决策。全部过程的决策形成一个决策序列，所以多阶段决策问题属于序贯决策问题。 多阶段决策过程最优化 在多阶段决策过程中，各个阶段所确定的决策构成了一个决策序列，称为一个策略。一般来说，由于每一阶段可供选择的决策往往不止一个，因此，对于整个过程，就会有许多可供选择的策略。在所有可供选择的策略中，对应的整体效果最好的策略称为最优策略。 把一个问题划分成若干个相互联系的阶段并选取其最优策略，这就是多阶段决策过程的最优化问题。 二、多阶段决策过程最优化的例子 第二节 动态规划的基本概念和基本原理 一、动态规划的基本概念 1、阶段和阶段变量 将所给问题的过程，按决策进行的时间或空间上的先后顺序划分为若干子过程，每个子过程称为一个阶段。 用以描述阶段的变量叫作阶段变量，一般以字母k表示。 2、状态、状态变量和状态集 各阶段开始时的客观条件（所处的位置、运动状态等）称为状态。 描述各阶段状态的变量叫作状态变量，一般用字母sk表示第k阶段的状态变量。 状态变量sk的取值集合称为状态集合，用字母Sk表示，有 。 3、决策、决策变量和允许决策集合 当各阶段的状态取定以后，就可以作出不同的决定（或选择），从而确定下一阶段的状态，这种决定称为决策。 描述各阶段决策的变量称为决策变量，一般用字母 表示第k阶段状态为sk 时的决策变量。 决策变量的允许取值集合称为允许决策集合，用字母 表示第k阶段状态为sk 时的允许决策集合，有 。 4、策略、允许策略集合 当各阶段的决策确定以后，整个问题的决策序列就够成一个策略，用 表示。 策略的允许取值集合称为允许策略集合，记作 。 从k阶段到第n阶段，依次进行的阶段决策构成的决策序列称为k部子策略,表示为 。 允许策略集合中，效果最优的策略称为最优策略。 5、状态转移方程 动态规划中，某阶段的状态是上一阶段的状态和上一阶段决策的结果。 如果给定了第k阶段的状态sk,该阶段的决策为 ，则第k+1阶段的状态sk+1也就完全确定，它们的关系可用下式表示： 6、指标函数和最优指标函数 用来衡量策略效果的某种数量指标，称为指标函数。对不同问题，指标函数可以是诸如费用、成本、产值、利润、产量、耗量、距离、时间、效用，等等。 (1)阶段指标函数（也称阶段效应）。 表示第k段处于sk状态、所作决策为uk(sk)时的指标就是第k段指标函数，记为dk(sk ,uk )。 过程指标函数形式之一是取各阶段指标之和的形式，即: 有些问题，如系统可靠性问题，其过程指标函数是取各阶段指标的连乘积形式，如： 总之，具体问题的过程指标函数表达形式需要视具体问题而定。 (3)最优指标函数 二、动态规划的基本原理 最优化原理 （贝尔曼最优化原理） 作为一个全过程的最优策略具有这样的性质：无论初始状态和初始决策如何，对于先前决策所形成的状态而言，其后的所有决策必构成一个最优子策略。 第三节 动态规划模型的建立与求解 一、动态规划模型的建立 二、动态规划模型的求解（逆序解法和顺序解法） （1）当k=5时， 例2：用逆序