运筹学概论_第6章_动态规划教材教学课件.pptVIP

所以最优路线为： 即从A到F的最短距离为17。本段决策为 再按计算顺序反推可得最优决策序列 即 这种递推关系称为动态规划的基本方程，(7.3b))式称为边界条件。 从例2的计算过程中可以看出，在求解的各阶段，都利用了第k段和第k+1段的如下关系： 将多阶段决策过程划分阶段，恰当地选取状态变量、决策变量及定义最优指标函数，从而把问题化成一族同类型的子问题，然后逐个求解。 (2) 求解时从边界条件开始，逆(或顺)过程行进方向，逐段递推寻优。在每一个子问题求解时，都要使用它前面已求出的子问题的最优结果，最后一个子问题的最优解,就是整个问题的最优解。 (3)动态规划方法是既把当前一段与未来各段分开，又把当前效益和未来效益结合起来考虑的一种最优化方法，因此每段的最优决策选取是从全局考虑的，与该段的最优选择一般是不同的。 现将动态规划方法的基本思想总结如下 动态规划的基本方程是递推逐段求解的根据，一般的动态规划基本方程可以表为： 式中opt可根据题意取min或max， 为状态sk、决策uk 时对应的第k阶段的指标函数值。 从上图可以看出，无论从哪一段的某状态出发到终点F的最短路线，只与此状态有关，而与这点以前的状态、路线无关，即不受从A点是如何到达这点的决策影响。而且从A点到F点的最短路线若经过sk点，则此路线由sk点到F点的后半部，应是由sk点到F的最短路线。 Bellman最优化原理：一个过程的最优策略具有这样的性质：即无论初始状态基初始决策如何，对于先前决策所形成的状态而言，其以后的所有决策应构成最优策略。 第5章 动态规划 多阶段决策过程的最优化 动态规划的基本概念和基本原理 动态规划模型的建立与求解 第三节 动态规划模型的建立与求解 一、动态规划模型的建立 建立动态规划的模型，就是分析问题并建立问题的动态规划基本方程。 应用动态规划方法的关键在于:识别问题的多阶段特征，将问题分解成为可用递推关系式联系起来的若干子问题，而正确建立基本递推关系方程的关键又在于正确选择状态变量，保证各阶段的状态变量具有递推的状态转移关系。 下面以资源分配问题为例介绍动态规划的建模条件及解法。资源分配问题是动态规划的典型应用之一，资源可以是资金、原材料、设备、劳力等，资源分配就是将一定数量的一种或几种资源恰当地分配给若干使用者，以获取最大效益。 问如何分配投资数额才能使总效益最大? 例7 某公司有资金10万元，若投资于项目i(i=1,2,3)的投资额为xi时，其效益分别为 解：可列出静态规划问题的模型如下 1. 分阶段：分三个阶段，即 k=1，2，3。 将投资项目排序，首先考虑对项目1投资，然后考虑对项目2投资，最后考虑对项目3投资,即把问题划分为3个阶段，每个阶段只决定对一个项目应投资的金额。这样问题转化为一个3段决策过程。 2. 确定决策变量：通常可以取静态规划中的变量为决策变量。 即设 决策变量 ：决定给第k个项目投资的资金数。 3. 确定状态变量：状态变量与决策变量有密切关系，状态变量一般为累计量或随递推过程变化的量。 可以把每阶段可供使用的资金定为状态变量 ，初始状态 。 为分配于第一种项目的资金数，则当第一阶段(k＝1)时，有 状态转移方程: 状态变量 ：第k段可以投资于第k项到第3个项目的资金数。 指标函数： 最优指标函数： fk(sk) 当可投资金数为 时，投资第k至第3项所得的最大收益数。 基本方程： 阶段k： k=1,2,3 状态变量sk:第k阶段可以投资于第k项到第3个项目的资金。 决策变量xk:决定给第k个项目的资金。 状态转移方程:sk+1=sk-xk 最优指标函数fk(sk):当可投资金为sk,投资第k项到第3个项目所得的最大收益。 基本方程： 建立动态规划模型的要点为： 1．分析题意，识别问题的多阶段特性，按时间或空间的先后顺序适当地划分为满足递推关系的若干阶段，对非时序的静态问题要人为地赋予“时段”概念。 2．正确地选择状态变量，使其具备两个必要特征： (1)可知性：即过程演变的各阶段状态变量的取值，能直接或间接地确定； (2)能够确切地描述过程的演变且满足无后效性。即由第k阶段的状态 出发的后部子过程，可以看作是一个以 为初始状态的独立过程。 第6章 动态规划 多阶段决策过程的最优化 动态规划的基本概念和基本原理 动态规划模型的建立 第一节