01动态规划22.ppt

多阶段决策问题与特点 动态规划的基本概念和基本原理 动态规划基本方法\步骤 动态规划方法应用举例;一、多阶段决策问题 (Multi-Stage decision process) 多阶段决策过程特点:;动态规划 是运筹学的一个分支，它是解决多阶段决策过程最优化的一种数学方法。 求解某类问题的一种方法， 考察问题的一种途径 思路： 将多阶段决策问题，转化为一系列相互联系的单阶段决策问题； 决策序列：1-n 采取什么决策，依赖于前一阶段的结果、当前的状态 决策效果: 最优：整个过程（多阶段）的结果最好 ; 图5-11 运输网络图示 返回;一个阶段的决策结果，会影响下一个阶段的决策； 多阶段决策是一个过程，寻求过程最优化； 问题类型：连续与离散型、随机与确定，离散模型用无法解析方法处理 阶段最优，不等于整体最优 应用领域广泛 ;将多阶段决策问题，转化为一系列相互联系的单阶段决策问题； 决策序列：1-n 采取什么决策，依赖于前一阶段的结果、当前的状态 决策效果: 最优：整个过程（多阶段）的结果最好 ;状态 x1; 动态规划方法与“时间”关系很密切，随着时间过程的发展而决定各时段的决策，产生一个决策序列，这就是“动态”的意思。 然而它也可以处理与时间无关的静态问题，只要在问题中人为地引入“时段”因素，就可以将其转化为一个多阶段决策问题。在本章中将介绍这种处理方法。; 二、多阶段决策问题举例 属于多阶段决策类的问题很多，例如： 1)工厂生产过程：由于市场需求是一随着时间而变化的因素，因此，为了取得全年最佳经济效益，就要在全年的生产过程中，逐月或者逐季度地根据库存和需求情况决定生产计划安排。; 2)设备更新问题：一般企业用于生产活动的设备，刚买来时故障少，经济效益高，即使进行转让，处理价值也高，随着使用年限的增加，就会逐渐变为故障多，维修费用增加，可正常使用的工时减少，加工质量下降，经济效益差，并且，使用的年限越长、处理价值也越低，自然，如果卖去旧的买新的，还需要付出更新费．因此就需要综合权衡决定设备的使用年限，使总的??济效益最好。; 3)连续生产过程的控制问题：一般化工生产过程中，常包含一系列完成生产过程的设备，前一工序设备的输出则是后一工序设备的输入，因此，应该如何根据各工序的运行工况，控制生产过程中各设备的输入和输出，以使总产量最大。; 4）资源分配问题：便属于这类静态问题。如：某工业部门或公司，拟对其所属企业进行稀缺资源分配，为此需要制定出收益最大的资源分配方案。 这种问题原本要求一次确定出对各企业的资源分配量，它与时间因素无关，不属动态决策，但是，我们可以人为地规定一个资源分配的阶段和顺序，从而使其变成一个多阶段决策问题(后面我们将详细讨论这个问题)。; 5）运输网络问题：如图5-1所示的运输网络，点间连线上的数字表示两地距离(也可是运费、时间等)，要求从fk(sk)至v10的最短路线。 这种运输网络问题也是静态决策问题。但是，按照网络中点的分布，可以把它分为4个阶段，而作为多阶段决策问题来研究。 ;许多问题的发展过程都与时间因素有关。在这类多阶段决策问题中，阶段的划分常取时间区段来表示，并且各个阶段上的决策往往也与时间因素有关。这就使它具有了“动态”的含义，所以把处理这类动态问题的方法称为动态规划方法。 实际中尚有许多不包含时间因素的一类“静态”决策问题，就其本质而言是一次决策问题，是非动态决策问题，但是也可以人为地引入阶段的概念当作多阶段决策问题，应用动态规划方法加以解决。;三、动态规划求解的多阶段决策问题的特点 通常多阶段决策过程的发展是通过状态的一系列变换来实现的。 一般情况下，系统在某个阶段的状态转移除与本阶段的状态和决策有关外，还可能与系统过去经历的状态和决策有关。 适合于用动态规划方法求解的只是一类特殊的多阶段决策问题，即具有“无后效性”的多阶段决策过程。; 图5-11 运输网络图示 返回; 动态规划方法：动态规划方法寻求该最短路问题的基本思想是，首先将问题划分为4个阶段，每次的选择总是综合后继过程的一并最优进行考虑，在各段所有可能状态的最优后继过程都已求得的情况下，全程的最优路线便也随之得到（如图）;建模过程 ① 确定阶段与阶段变量； ② 明确状态变量与状态可能集合； ③ 明确决策变量与决策允许集合； ④ 明确状态转移方程； ⑤ 确定阶段效应和目标。; 一、动态规划的基本概念 使用动态规划方法