ZGS-动态规划2【信息技术】.docVIP

动态规划教案 一、动态规划的定义 在现实生活中，有一类活动的过程，由于它的特殊性，可将过程分成若干个互相联系的阶段，在它的每一阶段都需要作出决策，从而使整个过程达到最好的活动效果。因此各个阶段决策的选取不能任意确定，它依赖于当前面临的状态，又影响以后的发展。当各个阶段决策确定后，就组成一个决策序列，因而也就确定了整个过程的一条活动路线。这种把一个问题看作是一个前后关联具有链状结构的多阶段过程（如下图）。就称为多阶段决策过程，这种问题称为多阶段决策问题。 在多阶段决策问题中，各个阶段采取的决策，一般来说是与时间有关的，决策依赖于当前状态，又随即引起状态的转移，一个决策序列就是在变化的状态中产生出来的，故有动态的含义，我们称这种解决多阶段决策最优化的过程为动态规划方法。 应指出，动态规划是考察求解多阶段决策问题的一种途径、一种方法，而不是一种特殊算法。不像线性规划那样，具有一个标准的数学表达式和明确定义的一组规划。因此我们在学习时，除了要对基本概念和方法正确理解外，必须具体问题具体分析处理，以丰富的想象力去建立模型，用创造性的技巧去求解。 二、动态规划最优化原理 作为整个过程的最优策略具有这样的性质:即无论过去的状态和决策如何，对以前的决策所形成的状态而言，余下的诸决策必须构成最优策略。（无论过程的初始状态/初始决策是什么，其余决策活动必须相对于初始决策所产生的状态构成一个最优决策序列，才可能使整个决策活动构成最优决策序列。） 简单地说，一个整体过程的最优策略的子策略一定是最优策略。 利用这个原理，可以把多阶段决策问题的求解过程看成是一个连续的逆推过程。由后向前逐步推算。在求解时，各种状态前面的状态和决策，对后面的子问题，只不过相当于其初始条件而己，不影晌后面过程的最优策略。原理的证明可用反证法。在此把它略去。 三、动态规划的求解方法 是先把问题分成多个子问题（一般地每个子问题是互相关联和影响的），再依次研究逐个问题的决策。决策就是某个阶段的状态确定后，从该状态演变到下一阶段状态的选择。当全体子问题都解决时，整体问题也随之解决。 用枚举的方法从所有可能的决策序列中去选取最优决策序列可能是较费时的笨拙的方法，但利用最优性原理去找出递推关系，再找最优决策序列就可能使得枚举数量大大下降，这就是动态规划方法设计算法的主要思路。 三、动态规划问题的数学描述 首先，例举一个典型的且很直观的多阶段决策问题:[例] 下图表示城市之间的交通路网，线段上的数字表示费用，单向通行由A- E。试用动态规划的最优化原理求出A- E的最省费用。 C1 B1 D1 C2 A D2 E C3 B2 D3 C4 如图从A到E共分为4个阶段，即第一阶段从A到B，第二阶段从B到C，第三阶段从C到D，第四阶段从D到E。除起点A和终点E外，其它各点既是上一阶段的终点又是下一阶段的起点。例如从A到B的第一阶段中，A为起点，终点有B1，B2两个，因而这时走的路线有两个选择，一是走到B1，一是走到B2。若选择B2的决策，B2就是第一阶段在我们决策之下的结果，它既是第一阶段路线的终点，又是第二阶段路线的始点。在第二阶段，再从B2点出发，对于B2点就有一个可供选择的终点集合(C1，C2，C3，C4)；若选择由B2走至C2为第二阶段的决策，则C2就是第二阶段的终点，同时又是第三阶段的始点。同理递推下去，可看到各个阶段的决策不同，线路就不同。很明显，当某阶段的起点给定时，它直接影响着后面各阶段的行进路线和整个路线的长短，而后面各阶段的路线的发展不受这点以前各阶段的影响。故此问题的要求是：在各个阶段选取一个恰当的决策，使由这些决策组成的一个决策序列所决定的一条路线，其总路程最短。 动态规划为此类多阶段决策问题寻求了一种简便的方法。为了便于讨论，我们先引入动态规划问题的一些概念、术语和符号。 名词解释： （1）决策和阶段 在对问题的处理中作出某种选择性的行动就是决策。例如在且点需选择下一步到B1还是到B2，这就是一次决策。一个实际问题可能要有多次决策或多个决策点，为此对整个问题，可按其特点划分成需要作出选择的若干轮次，这些轮次即称为阶段。如图中，从A到E共分为4个阶段，即第一阶段从A到B，第二阶段从B到C，第三阶段从C到D，第四阶段从D到E。 （2）状态和状态变量 某一阶段的出发位置称为状态。通常一个阶段包含若干状态。例如阶段3含有4种状态C1，