数理经济学05动态最优化基础.docxVIP

第四章 动态最优化基础 § 4.1 动态最优化的基本问题 例：最短路问题 图 4.1 给出了从城市 A 到城市 B 的路线图 （省略了距离单位标注） 。现求一条从 A 到 B 的最短路线。 图 4.1 显然，为了从 A 到 B ，必须先逐步经过 C1、 C2、 C3、 C4 等诸城市。而在 C1、 C2、 C3、 C4，又都有多种选择。而关键性的困难是当前的最优选择不一定是全局的最优。 这类问题也称为多阶段决策问题。 § 4.2 动态最优化的基本概念 阶段： 将全过程分为若干个有相互联系的阶段，常用字母 t、 k 表示； 状态： 系统在不同阶段性态。一般来说，系统在一个阶段有多个状态。系统在某一阶 段的所有可能的状态构成的集合成为状态集，记为 Sk； 状态变量： 表示系统状态的变量，记为 sk。它与阶段有关； 决策： 在某一阶段的某一状态下，系统由该状态演变到下一阶段某一状态的选择。在 第 k 阶段，处于状态 sk 时的所有可能的决策集记为 k k D （ s ）； 决策变量： 描述决策的变量， 它与阶段与系统在该阶段的状态有关。 在第 k 阶段，处于 状态 sk 时的决策记为 dk（ sk）； 状态转移： 从当前阶段的某一状态转移到下一阶段的某一状态。 状态转移方程： 描述状态转移规律的数学方程。它是当前状态变量与决策变量的函数， 即 sk 1 Tk (sk , dk ) ； 策略： 从起点到终点的每一阶段的决策所构成的决策序列，称为（全局）策略。自某 一阶段起，至终点的决策称为子策略，记为p k ,n ( s ) (d (s ), , d ( s )) 。 k 1 1 n n 指标（目标）函数： 性能指标或效用指标，它用来评价决策的效果。它可分为阶段指标与全局指标两类。 阶段指标是指衡量某一阶段在某一状态下的决策效果的指标。它仅依赖当前状态和当 前决策。记为 vk (sk , dk ( sk )) ； 全局指标是指衡量整个全过程或自某一阶段起至终点的各阶段决策的总体效果的指标。它是所有各阶段的状态和决策的函数，即 Vk,n (sk , d k , sk 1 ,d k 1 , , sn , d n ) 动态最优化的主要问题是寻找一个策略，使全局指标最优。此策略称为动态系统的最 优解。 注意，最优解是各阶段状态的函数，其含义是在各个阶段， 当处于不同的状态下应选择的（从全局）最优决策。 动态最优化的分类 离散阶段、离散状态的动态优化问题； 离散阶段、连续状态的动态优化问题（如长期投资问题） ；连续阶段、离散状态的动态优化问题； 连续阶段、连续状态的动态优化问题（如追击问题、长期投资问题） 。 处理动态最优化的常用方法： 1） 变分方法； 2） 极大极小原理（ Pontryagin 原理）； 3） 动态规划（ Bellmen 方法）。 § 4.3 动态规划方法 对于动态规划而言， 它要求过程的全局指标函数是各阶段指标的和 ，即 n Vk, n ( sk , d k , sk 1, d k 1 , , sn , dn ) vi (si ,d i ( si )) i k 动态规划最优化原理（ Richard Bellman ） 作为整个过程的最优策略具有这样的性质： 无论过去的状态和决策如何，对前面决策 所形成的状态而言，余下的诸决策必须构成最优策略。 该原理可以这样理解：如果在某一阶段的某一状态位于全局最优路径上，则以它为起点到终点的最优策略一定与全局最优策略重合。 由基本原理，不难得到动态规划的函数基本方程（反向递归方程） ： f k ( sk ) Max ( Min ){ vk (sk , d k ( sk )) f k 1 (sk 1 )} d k (sk ) D k (sk ) k n, n 1, ,1 f n 1 (sn 1 ) 0 其中，  f k (sk ) 表示在第  k 阶段的某一状态下到终点的最优指标函数。 例：求前例的最短路。 （反向递归） 例：某商店在未来四个月里销售一种商品。它有一个最大容量为  1000 件的仓库。该商 店每月中旬订购商品， 下月初到货。 经市场调查， 今后四个月商品的购买价与销售价如下表 所示。 假定商店在 1 月初已有 500 件库存商品， 在不考虑市场需求和库存费用的条件下， 问 如何安排每月的订购量和销售量，使 6 个月的总利润最大。 月份 购买价 pk 销售价 qk 1 10 12 2 9 9 3 11 13 4 15 17 解：这是一个四阶段决策问题。 决策变量是每月的订购量 xk，销售量 yk。取状态变量为每月的库存量，记为 sk；并记仓库最大容量为 H=1000 。显然，状态转移方程为 sk 1 sk x