运筹学_07_动态规划.pptVIP

动态规划 Dynamic Programming 多阶段决策过程的最优化 动态规划的基本概念和基本原理 动态规划模型的建立与求解 动态规划方法应用举例 1 多阶段决策过程的最优化 概述 多阶段决策过程及其最优化 多阶段决策过程举例 动态规划求解的多阶段决策问题的特点 动态规划方法导引 概述 动态规划是解决多阶段决策过程最优化问题的一种方法。由美国数学家贝尔曼(R Bellman)等人于20世纪50年代初提出，贝尔曼于1957年出版《动态规划》专著。 动态规划用于解决最优路径问题、资源分配问题、生产计划与库存、投资、装载、排序等问题及生产过程的最优控制。 动态规划分为离散确定型、离散随机型、连续确定型、连续随机型等类型。 主要介绍离散确定型动态规划。 多阶段决策过程及其最优化 多阶段决策过程指这样一类特殊的活动过程，它们可以按时间顺序分解成若干相互联系的阶段，称为时段，在每一个时段都要做出决策，全部过程的决策是一个决策序列。故多阶段决策问题属序贯决策问题。 多阶段决策过程最优化的目标是要达到整个活动过程的总体效果最优。决策者在每段决策时不仅考虑本阶段最优，还考虑对最终目标的影响，从而做出全局最优决策。 动态规划方法虽与时间关系紧密，但问题中引入时段因素即可看出多阶段决策过程。 多阶段决策过程举例 属于多阶段决策类的问题很多，例如： 例1：工厂生产过程。由于市场需求是一随着时间而变化的因素，因此，为了取得全年最佳经济效益，就要在全年的生产过程中，逐月或者逐季度地根据库存和需求情况决定生产计划安排。 例2：设备更新问题。一般企业用于生产活动的设备，刚买来时故障少，经济效益高，即使进行转让，处理价值也高，随着使用年限的增加，就会逐渐变为故障多，维修费用增加，可正常使用的工时减少，加工质量下降，经济效益差，并且，使用的年限越长、处理价值也越低，自然，如果卖去旧的买新的，还需要付出更新费。因此就需要综合权衡决定设备的使用年限，使总的经济效益最好。 例3：连续生产过程的控制问题。一般化工生产过程中，常包含一系列完成生产过程的设备，前一工序设备的输出则是后一工序设备的输入，因此，应该如何根据各工序的运行工况，控制生产过程中各设备的输入和输出，以使总产量最大。 以上所举问题的发展过程都与时间因素有关，因此在这类多阶段决策问题中，阶段的划分常取时间区段来表示，并且各个阶段上的决策往往也与时间因素有关，这就使它具有了“动态”的含义，所以把处理这类动态问题的方法称为动态规划方法。 不过，实际中尚有许多不包含时间因素的一类“静态”决策问题，就其本质而言是一次决策问题，是非动态决策问题，但是也可以人为地引入阶段的概念当作多阶段决策问题，应用动态规划方法加以解决。 例4：资源分配问题。某工业部门或公司，拟对其所属企业进行稀缺资源分配，为此需要制定出收益最大的资源分配方案。 这种问题原本要求一次确定出对各企业的资源分配量，它与时间因素无关，不属动态决策，但是，我们可以人为地规定一个资源分配的阶段和顺序，从而使其变成一个多阶段决策问题。 例5：运输网络最短路问题。如图所示的运输网络，顶点之间连线上的数字表示两地距离(也可以是运费、时间等)，要求从v1至v10的最短路线。 这种运输网络问题也是静态决策问题。但是，按照网络中点的分布，可以把它分为4个阶段，而作为多阶段决策问题来研究。 该图中圆圈里是网络顶点，带箭头的是网络上的弧(应该全部是弧)，弧上的数字是两个顶点之间的距离。顶点处括号内的值是各顶点到v10的最短距离。 最短距离=18；最短路=v1-v3-v7-v9-v10。 动态规划求解的多阶段决策问题的特点 通常多阶段决策过程的发展是通过状态的一系列变换来实现的。一般情况下，系统在某个阶段的状态转移除与本阶段的状态和决策有关外，还可能与系统过去经历的状态和决策有关。因此，问题的求解就比较困难复杂。而适合于用动态规划方法求解的只是一类特殊的多阶段决策问题，即具有“无后效性”的多阶段决策过程。所谓无后效性，又称马尔柯夫性，是指系统从某个阶段往后的发展，仅由本阶段所处的状态及其往后的决策所决定，与系统以前经历的状态和决策(历史)无关。 动态规划方法导引 例6：为了说明动态规划的基本思想方法和特点，下面以例5图所示为例讨论求最短路问题的方法。 第一种方法：全枚举法或穷举法。它的基本思想是列举出所有可能发生的方案和结果，再对它们一一进行比较，求出最优方案。这里从v1到v10的路程可以分为4个阶段。第一段的走法有三种，第二三两段的走法各有两种，第四段的走法仅一种，因此共有3×2×2×1＝12条可能的路线，分别算出各条路线的距离，最后进行比较，可知最优路线是v1 →v3 → v7 → v9 →v10，最短距离是18。 显然，当组成交通网络的节点很多时，用穷