运筹学_动态规划.pdf

第 第 六 六  多阶段决策问题与动态规划 章 章  动态规划的基本概念  动态规划的算法 动 动 态  动态规划的应用 态 规 规 划 划 动态规划是运筹学的重要分支之一，它是解决多阶段 决策过程最优化的一种方法。该法是由美国数学家R. Bellman等人在上世纪50年代首先提出的。 R.Bellman 于1957年发表的“ 动态规划”一书是动态规划 方面的第一本著作。目前，动态规划已成功地用于解 决资源分配、货物装运、设备更新、生产计划以及复 合系统可靠性等许多问题。 例1.最短路问题  上述问题的特点： 问题可以分解为多个决策阶段。 多阶段决策问题可以表示为： 每阶段决策问题和我们一般的决策问题不同，它是 和“时间”有关的。与时间有关的活动过程称为动 态过程，其优化方法称为动态规划。 动态规划的基本特征： 研究对象：多阶段的决策问题 研究目标：达到整个活动过程的总体最优 适用范围：阶段状态具有无后效性(后文 介绍) 多阶段决策问题是指一类活动过程，它可以分为 多 多 若干个相互联系的阶段，在每个阶段都需要作出 阶 阶 决策。这个决策不仅决定这一阶段的效益，而且 段 段 决定下一阶段的初始状态。 决 决 策 每个阶段的决策确定以后，就得到一个决策序 策 问 列，称为策略。多阶段决策问题就是求一个策 问 题 略，使各阶段的效益的总和达到最优。 题 阶段(Stage) 把所给的问题的过程恰当地分为若干相互联系的阶段，以便 动 能够按照一定的次序进行求解。描述不同阶段的变量称为阶 动 段变量，通常用字母k表示。 态 态 阶段的划分通常是根据时间和空间的自然特征进行划分。 规 划分的标准是要便于把问题的过程转化为多阶段的决策过 规 程。 划 例2 6 划 1 C1 8 2 3 基 3 3 D1 E1 基 5 B1 C2 5 2 5 5 F1 4 本 6 1 本 A 3 8 3 D2 2 E2 2 3 G 概 7 3 6 概 C3 3 6 B2 3 F2 6 8 D3 E3 念 4 念 C4 k=1 k=2 k=3 k=4 k=5 k=6 状态(State) 状态表示每个阶段开始时所处的自然状况或客观条件，它描 述了影响决策的因素随决策进程的变化情况，它既是前面阶 段所作决策的结果，又是本阶段作出决策的出发点和依据。 描述各个阶段状态的变量称为状态变量，通常第k 阶段的状 态变量用s 表示，状态变量s 取值的集合用S 表示。 k k k 见下面的例子。 6 1 C1 8 2 3 5 B1 3 C2 3 5 D1