专业课运筹学动态规划笔记 .pdfVIP

专业课运筹学动态规划笔记

笔记信息

书籍信息：《运筹学》第五版——清华大学出版社胡运权

单元信息：第六章动态规划

✿整理摊主：铭哥

本篇文章共2294个字

食用时间约11分钟

【1】概念原理

多阶段决策特点

▶多阶段决策是与时间相关的；

▶多阶段决策依赖于当前的状态；

▶每一个时段都要作出决策；

▶全部过程的决策是一个决策序列；

▶本段决策的执行将影响下一阶段的决策；

▶不仅要考虑本阶段最优，更要考虑全局最优；

最优性原理

▶无论过去的状态和决策如何，对前面决策所形成的状态而言，余下的诸决策必须构成最优策

略；

▶将决策问题划分为若干个阶段，全过程的优化问题就分解为子过程的优化问题，由后向前逐步

倒推，最优化的子过程逐渐成为全过程最优；

▶作为全过程的最优策略P*1,n的组成部分的任一子策略P*k,n（Sk），一定是从状态Sk出发直至

终点的最优策略。

相关概念

▶阶段

将所给问题的过程，按时间或空间特征分解成若干相互联系的阶段，以便按次序去求每个阶段

的解。常用字母ｋ表示。

▶状态

各阶段开始时的客观条件。状态用变量Sk表示。

▶决策

确定下一阶段的状态，表示决策的变量称为决策变量，Uk（Sk）表示第ｋ阶段的状态为Sk时的

决策变量，它是状态变量的函数。

▶策略

各段决策确定后，整个问题的决策序列就构成一个决策序列。

▶状态转移方程

确定过程由一个状态到另一个状态的演变过程。若给定第ｋ阶段状态变量Sk的值，如果该段的

决策变量Uk一经确定，第ｋ＋１阶段的状态变量Sk+1的值也就完全确定。

▶指标函数（最优指标函数）

用来衡量所选定策略优劣的数量指标。

阶段指标函数：从状态Sk出发，采取决策Uk时的效益。用Vk（Sk，Uk）表示。

最优指标函数fk（sk）：表示从第ｋ段状态sk采用最优策略P*k,n到过程终止时的最优指标函数

值。

【2】基本方程

一般方程

▶顺序推解的基本方程：

▶逆序解法的基本方程：

模型求解

▶顺推解法

▶逆推解法

基本思路：逆着阶段顺序的方向，由后向前推算。

求解步骤：

①把寻求最优策略看作连续递推过程，从最终阶段开始，逆着实际过程的进展方向逐段求解；

②在每一阶段求解过程中都是其后部子过程最优策略的基础上，再考虑本阶段的指标函数，求出

本阶段的最优策略；

③直到第一阶段为止。

建模注意事项

▶将问题的过程划分为恰当的阶段，如时间、空间顺序，或是变量的个数，产品的种类，小组的

个数等；

▶正确选择状态变量Sk，通常表示为从第ｋ阶段到第ｎ阶段的累计量和递推量（逆推时）；或者

从第１阶段到第ｋ阶段的累计量和递推量（顺推时）；

▶确定决策变量及每阶段的允许决策集合，通常表示为xk∈Dk(Sk,xk)，即在第ｋ阶段投入的

量；

▶正确写出状态转移方程Sk+1＝Tk(Sk,xk)，注意顺推和逆推的区分！

▶正确写出最优值函数fk(Sk)，注意顺推和逆推的区分！如逆推时，求最大化问题

▶边界条件，指标函数加和时，通常为０；指标函数乘积时，通常为１。

【3】应用类型

资源分配问题

▶概念

所谓分配问题，就是将数量一定的一种或若干种资源（如原材料、资金、机器设备、劳力、食

品等等），恰当地分配给若干个使用者，而使目标函数为最优。

▶通常数学描述如下：

设有某种原料，总数量为ａ，用于生产ｎ种产品。若分配数量xi用于生产第ｉ种产品，其收益为

gi(xi)。问应如何分配，才能使生产n种产品的总收入最大？

▶用动态规划方法处理该类问题时，通常以把资源分配给一个或几个使用者作为一个阶段，把问

题中的变量xi作为决策变量，将累计的量或随递推过程变化的量选为状态变量。

▶相关问题：

在实际中，如销售分配问题、投资分配问题、货物分配问题等，都属于这类分配问题。这种只

将资源合理分配不考虑回收的问题，又称为资源平行分配问题。

在资源分配问题中，若考虑资源回收利用，则决策变量取连续值，称为资源连续分配问题。

生产与存储问题

▶概念

在生产和经营中，经常遇到要合理安排生产（或购买）与库存的问题，达到既要满足社会的需

要，又要尽量降低成本费用。因此，正确制定生产（或采购）策略，确定不同时期的生产量

（或采购量）和库存量，以使总的生产成本费用和库存费用之和最小，这就是生产与存储问题

的最优化目标。

▶通常的数学描述为：

设某公司对某种产品要制定一项ｎ个阶段的生产（或购买）计划。已知它的初始库存量为０，

每阶段生产（或