第6章动态规划.docVIP

第6章动态规划

第6章动态规划

第6章动态规划

第6章动态规划

动态规划（DynamicProgramming）是解决多阶段决策过程最优化的一种有用的数学方法。它是由美国学者Richard.Bellman在1951年提出的，1957年他的专著《动态规划》一书问世，标志着运筹学的一个重要分支－动态规划的诞生.动态规划也是一种将多变量问题转化为单变量问题的一种方法。在动态规划中，把困难的多阶段决策问题变换成一系列相互联系的比较容易的单阶段问题一个个地求解。动态规划是考察解决问题的一种途径,而不是一种特殊的算法，不像线性规划那样有统一的数学模型和算法（如单纯形法）.事实上，在运用其解决问题的过程中还需要运用其它的优化算法。因此，动态规划不像其它方法局限于解决某一类问题,它可以解决各类多阶段决策问题。

动态规划在工程技术、经济管理等社会各个领域都有着广泛的应用，并且获得了显著的效果。在经济管理方面,动态规划可以用来解决最优路径问题、资源分配问题、生产调度问题、库存管理问题、排序问题、设备更新问题以及生产过程最优控制问题等，是经济管理中一种重要的决策技术。许多规划问题用动态规划的方法来处理,常比线性规划或非线性规划更有效。特别是对于离散的问题，由于解析数学无法发挥作用，动态规划便成为了一种非常有用的工具。

动态规划可以按照决策过程的演变是否确定分为确定性动态规划和随机性动态规划；也可以按照决策变量的取值是否连续分为连续性动态规划和离散性动态规划。本教材主要介绍动态规划的基本概念、理论和方法,并通过典型的案例说明这些理论和方法的应用。

6.1动态规划的基本理论

6.1.1多阶段决策过程的数学描述

输出输入决策阶段状态转移（a）Sk+1SkunStagen（b）有这样一类活动过程,其整个过程可分为若干相互联系的阶段，每一阶段都要作出相应的决策,以使整个过程达到最佳的活动效果。任何一个阶段(stage，即决策点)都是由输入(

输出

输入

决策

阶段

状态转移

（a）

Sk+1

Sk

un

Stagen

（b）

图6-1某一阶段决策过程示意图

由于每一阶段都有一个决策，所以每一阶段都应存在一个衡量决策效益大小的指标函数，这一指标函数称为阶段指标函数,用表示.显然，如图6—1（b）所示.显然，输出是输入和决策的函数，即：

(6-1）

式(6—1）为状态转移方程。在由n个阶段构成的过程里，前一个阶段的输出即为后一个阶段的输入。

6。1.2动态规划的基本概念

动态规划的数学描述离不开它的一些基本概念与符号,因此有必要在介绍多阶段决策过程的数学描述的基础上，系统地介绍动态规划的一些基本概念。

（1）阶段、阶段变量

阶段是过程中需要做出决策的决策点。描述阶段的变量称为阶段变量，常用k来表示。阶段的划分一般是根据时间和空间的自然特征来进行的，但要便于将问题的过程转化为多阶段决策的过程。对于具有n个阶段的决策过程，其阶段变量k＝1，2，…，n。

（2）状态、状态变量

状态表示每个阶段开始所处的自然状况或客观条件,它描述了研究问题过程的状况。状态既反映前面各阶段系列决策的结局,又是本阶段决策的一个出发点和依据；它是各阶段信息的传递点和结合点。各阶段的状态通常用状态变量Sk来加以描述。作为状态应具有这样的性质：如果某阶段状态给定后，则该阶段以后过程的发展不受此阶段以前各阶段状态的影响。换句话说，过程的历史只能通过当前的状态来影响未来,当前的状态是以往历史的一个总结.这个性质称为无后效性(thefutureisindependentofthepast）。

状态变量的取值有一定的允许集合或范围，此集合称为状态允许集合。

（3）决策、决策变量

过程的某一阶段、某个状态,可以做出不同的决定（选择)，决定下一阶段的状态，这种决定称为决策.

描述决策的变量，称为决策变量.

决策变量是状态变量的函数，常用uk（sk)表示第k阶段当状态为sk时的决策变量。

在实际问题中决策变量的取值往往在某一范围之内，此范围称为允许决策集合.常用Dk(sk）表示第k阶段从状态sk出发的允许决策集合，显然有uk(sk）Dk（sk)

（4)状态转移方程

多阶段决策过程可以在各个阶段进行决策，去控制过程发展的多段过程；其发展是通过一系列的状态转移来实现的；

系统在某一阶段的状态转移不但与系统的当前的状态和决策有关，而且还与系统过去的历史状态和决策有关。其状态转移方程如下（一般形式)

能用动态规划方法求解的多阶段决策过程是一类特殊的多阶段决策过程，即具有无后效性的多阶段决策过程。

（5）策略

策略是一个按顺序排列的决策组成的集合。由过程的第k阶段开始到终止状态为止的过程,称为问题的