6动态规划.docxVIP

7.1多阶段决策过程及实例在生产和科学实验中，有一类活动的过程，由于它的特殊性，可将过程分为若干个互相联系的阶段，在它的每一个阶段都需要作出决策，从而使整个过程达到最好的活动效果。因此，各个阶段决策的选取不是任意确定的，它依赖于当前面临的状态，又影响以后的发展。当各个阶段决策确定后，就组成了一个决策序列，因而也就决定了整个过程的一条活动路线。这种把一个问题可看作是一个前后关联具有链状结构的多阶段过程（如图2-1所示）就称为多阶段决策过程，也称序贯决策过程。这种问题就称为多阶段决策问题。图7-1在多阶段决策问题中，各个阶段采取的决策，一般来说是与时间有关的，决策依赖于当前的状态，又随即引起状态的转移，一个决策序列就是在变化的状态中产生出来的，故有“动态”的含义。因此，把处理它的方法称为动态规划方法。但是，一些与时间没有关系的静态规划（如线性规划、非线性规划等）问题，只要人为地引进“时间”因素，也可以把它视为多阶段决策问题，用动态规划方法去处理。多阶段决策问题很多，现举例如下：例1 最短路线问题设某厂A要把一批货运到E城出售，中间可经过①～⑧城市，各城市间的交通线及距离如图2-2所示，问应选择什么路线，可使总距离最短？图 7-2 某厂货运交通线及距离示意图这是一个4阶段决策问题。例2 生产与存贮问题某工厂生产并销售某种产品，已知今后4个月市场需求预测如表2-1所示，每月生产单位产品的费用为（千元）其中为生产的固定费用，为可变生产费率，为生产能力。供应需求所剩余产品应存入仓库，每月库存单位产品的费用为（千元）计划开始和计划期末库存量都是0。试制定4个月的生产计划，在满足用户需求的条件下使总费用最小。表7-1月1234（需求）2324这也是一个4阶段决策问题。例3 投资决策问题某公司现有资金Q万元，在今后5年内考虑给A、B、C、D四个项目投资，这些项目的投资期限、回报率均不相同，问应如何确定这些项目每年的投资额，使到第五年末拥有资金的本利总额最大。这是一个5阶段决策问题。例4 设备更新问题企业在使用设备时都要考虑设备的更新问题，因为设备越陈旧所需的维修费用越多，但购买新设备则要一次性支出较大的费用。现在，某企业要决定一台设备未来8年的更新计划，已预测了第j年购买设备的价格为，为设备经过j年后的残值，为设备连续使用j-1年后在第j年的维修费（j＝1，2，…，8），问应在哪年更新设备可使总费用最小。这是一个8阶段决策问题，每年年初要作出决策是继续使用旧设备还是购买新设备。更多的例子将在后面结合求解介绍。7.2动态规划的基本概念和方法7.2.1动态规划的基本概念使用动态规划方法解决多阶段决策问题，首先要将实际问题改造成动态规划模型，此时要用到以下概念：（1）阶段（2）状态（3）决策和策略（4）状态转移（5）指标函数下面我们结合例题说明这些概念。（1）阶段（stage）将所给问题的过程，按时间或空间特征分解成若干互相联系的阶段，以便按次序去求解每阶段的解，常用字母表示阶段变量。例如在例1中，我们可以将A-E间的最短线路问题按其空间分布分解成一个四阶段决策问题。第一阶段包括（A,1），（A,2）,(A,3)。第二阶段包括从城市1、2、3到达城市4、5、6的交通线即（1，4）、（1，5）、（1，6）、（2，4）、（2，5）、（2，6）、（3，4）、（3，5）、（3，6）。其余阶段依此类推。在例2中，我们可以按时间把每个月作为一个阶段，共分为4个阶段。本书规定：表示实际问题中的第一决策阶段。在一个阶段决策问题中，表示最后一个决策阶段。（而有些书中存在相反规定）（2）状态（state）各阶段开始时的客观条件叫做状态。描述各阶段状态的变量称为状态变量，常用表示第k阶段的状态变量，状态变量的取值集合称为状态集合，用Sk表示。在例1中，第一阶段状态为A，第二阶段则有第三个状态：城市①，②，③。状态变量的集合={A}，后面各段的状态集合分别是：={1,2,3},={4,5,6},={7,8}。在例2中，我们可以把每月月初的产品库存量作为状态。动态规划中的状态应具有如下性质：当某阶段状态给定以后，在这阶段以后过程的发展不受这段以前各段状态的影响。也就是说，过程的过去历史只能通过当前状态去影响它未来的发展，这称为无后效性。如果所选定的变量不具备无后效性，就不能作为状态变量来构成动态规划模型。如例1中，当某段的初始状态即所在的城市选定以后，从这个状态以后的运货路线只与这个城市有关，不受以前的运货路线影响，所以是满足状态的无后效性的。又例如，研究物体（把它看作一个质点）受外力作用后其空间运动的轨迹问题，从描述轨迹这点着眼，可以只选择坐标位置作为过程的状态，但这样不能满足无后效性，因为即使知道了外力的大小和方向，仍无法确定物体受力后的运动方向和轨迹，只有把位置和速度都