运筹学[第八章动态规划的基本方法]山东大学期末考试知识点复习.pdfVIP

第八章动态规划的基本方法

1．动态规划的概念

动态规划是解决多阶段决策问题最优化的一种数学方法，是一种解决问题的

思路，而不是一种算法。这一点与线性规划不同。因此，在应用动态规划方法求

解多阶段决策问题时，要对具体问题进行具体分析。

2．动态规划的基本思想

(1)动态规划方法的关键在于正确写出基本的递推关系式和恰当的边界条件

(简言之为基本方程)，要做到这一点，必须先将问题的过程分成几个相互联系的

阶段，恰当地选取状态变量和决策变量及定义最优值函数，从而把一个大问题化

成一组同类型的子问题，然后逐个求解，最后一个子问题所得的最优解就是整个

问题的最优解。

(2)在多阶段决策过程中，动态规划方法是既把当前一段和未来各段分开，

又把当前效益和未来效益结合起来考虑的一种最优化方法。因此，每段决策的选

取是从全局来考虑的，与该段的最优选择答案一般是不同的。

(3)在求整个问题的最优策略时，由于初始状态是已知的，而每段的决策都

是该段状态的函数，故最优策略所经过的各段状态便可逐次变换得到，从而确定

了最优路线。

如初始状态A已知，则按下面箭头所指的方向逐次变换有

从而可得最优策略为{u1(A)，u2(B1)，…，u0(F2)}，相应的最短路线为A

→B1→C2→…→F2→G。

3．动态规划的基本方程

动态规划的基本方程：k阶段与k+1阶段之间的递推关系

边界条件为

f(s)=0

n+1n+1

4．状态转移方程

(1)逆序递推的基本方程

其求解过程：根据边界条件从k=n开始，由后向前逆推，可逐步求得各段的

最优决策和相应的最优值，当最后求出f1(s1)时，便得到整个问题的最优解。

其各阶段和各变量之间的关系如图8—1所示。

(2)顺序递推的基本方程

其求解过程：根据边界条件从k=1开始，由前向后顺推，可逐步求得各段的

最优决策和相应的最优值，当最后求得f(s)时，便得到整个问题的最优解。

nn+1

其各阶段和各变量之间的关系如图8—2所示。

一般来说，当过程的始点给定时，用逆序递推比较方便；而当过程的终点给

定时，用顺序递推比较方便。

5．指标函数

指标函数是用来衡量所实现过程优劣的一种数量指标。它是定义在全过程和

所有后部子过程上的确定的数量函数，常用V表示。作为动态规划模型的指标

k，n

函数，应具有可分离性。

6．最优值函数

指标函数的最优值称为最优值函数，记为f(s)，它表示从第志阶段的状态

kk

sk开始一直到第n阶段的终止状态的过程，采取最优策略所得到的指标函数值。

即

其中“opt”是最优化的意思，根据题意可取min或max。

7．动态规划的最优性原理

作为整个过程的最优策略具有这样的性质：无论过去的状态和决策如何，

对前面的决策所形成的状态而言，余下的诸决策必须构成最优策略。也就是说，

一个最优策略的任一后部子策略总是最优的。