第1讲 最优化基础-2概述.ppt

1.多阶段决策过程的最优化 (1)多阶段决策问题 ▲动态规划的研究对象是多阶段决策问题。 ▲多阶段决策问题:根据问题本身的特点，可以将其求解的全过程划分为若干个相互联系的阶段(即子问题)，在它的每一阶段都需要作出决策，并且在一个阶段的决策确定以后再转移到下一个阶段。 ▲多阶段决策过程:前一个阶段的决策要影响到后一个阶段的决策，从而影响整个过程。各个阶段所确定的决策就构成了一个决策序列，称为一个策略。一般来说，每一阶段可供选择的决策往往不止一个，因此，整个过程会有许多可供选择的策略。 (2)多阶段决策问题举例 a)工厂生产过程:为了取得全年最佳经济效益，在全年的生产过程中，根据市场需求，逐月或者逐季度地根据库存和需求情况决定生产计划安排。 b)设备更新问题:需要综合权衡决定设备的使用年限，使总的经济效益最好 c)连续生产过程的控制问题:一般化工生产过程中，常包含一系列完成生产过程的设备，前一工序设备的输出则是后一工序设备的输入，因此，应该如何根据各工序的运行工况，控制生产过程中各设备的输入和输出，以使总产量最大。 以上问题的发展过程都与时间因素有关，因此阶段的划分常取时间区段来表示，并且各个阶段上的决策往往也与时间因素有关，这就是“动态”的含义，所以把处理这类问题的方法称为动态规划方法。 d）资源分配问题: 某工业部门拟对其所属企业进行稀缺资源分配，为此需要制定出收益最大的资源分配方案。这种问题与时间因素无关，不属动态决策，但我们可以人为地规定一个资源分配的阶段和顺序，从而使其变成一个多阶段决策问题。 e）运输网络问题: 运输网络连线上的数字表示两地距离(也可以是运费、时间等)，要求从A 至E的最短路线。这种运输网络问题也是静态决策问题。但是，按照网络中点的分布，可以把它分为几个阶段，而作为多阶段决策问题来研究。 (3)动态规划求解的多阶段决策问题的特点 通常多阶段决策过程的发展是通过状态的一系列变换来实现的。一般情况下，系统在某个阶段的状态转移除与本阶段的状态和决策有关外，还可能与系统过去经历的状态和决策有关。因此，问题的求解就比较困难复杂。 适合于用动态规划方法求解的只是一类特殊的多阶段决策问题，即具有“无后效性”(马尔柯夫性)的多阶段决策过程。所谓无后效性，是指系统从某个阶段往后的发展，仅由本阶段所处的状态及其往后的决策所决定，与系统以前经历的状态和决策(历史)无关。多阶段决策过程特点: (4)动态规划方法导引 例1：为了说明动态规划的基本方法和特点，以上面运输网络图为例,讨论求最短路问题的方法。 第一种方法枚举法. 它的基本思想是列举出所有可能发生的方案和结果，再一一比较，求出最优方案。这里从A到E的路程可以分为5个阶段。各阶段走法:第1段有3种，第2段各有3种，第3段各有2种，第4段各1种，因此共有3×3×2×1＝18条可能的路线，分别算出各条路线的距离进行比较，可知最优路线是A ? B2 ? C1? D1? E,最短距离是19． 显然，如果组成网络的节点很多时，用穷举法求最优路线的计算量将会十分庞大，其中包含许多重复计算．枚举法虽可找出最优方案，但不是个好算法 第二种方法:“局部最优路径”法. 说某人从某站出发，他选择“逢近便走”的决策，以为只要“局部最优”,就会达到”“整体最优”，所取决策必是A ? B3 ? C3? D1? E,但全程长度是25；显然，这种方法的结果常是错误的．局部最优法则是错误方法. 第三种方法动态规划方法. 首先将问题划分为5个阶段，每次的选择总是综合后继过程的一并最优进行考虑，在各段所有可能状态的最优后继过程都已求得的情况下，全程的最优路线便也随之得到。动态规划方法总是从过程的最后阶段开始考虑，然后逆着实际过程发展的顺序，逐段向前递推计算直至始点。 动态规划方法属较科学有效的算法，计算过程中，系统地删去了所有中间非最优的方案组合，从而使计算量比枚举法大为减少。 2.动态规划的基本概念 使用动态规划方法解决多阶段决策问题，首先要将实际问题写成动态规划模型，需要对动态规划的一些基本术语加以说明和定义： 1. 阶段 为了便于求解和表示决策及过程的发展顺序，而把所给问题恰当地划分为若干个相互联系又有区别的子问题，称之为多段决策问题的阶段。一个阶段，就是需要作出一个决策的子问题，通常，阶段是按决策进行的时间或空间上先后顺序划分的。 2.状态和状态变量 用以描述系统在某特定的时间与空间域中所处位置及运动特征的量，称为状态。每个阶段的状态可分为初始状态和终止状态，阶段k的初始状态记作sk，终止状态记为sk+1。但通常定义阶段的状