第七章运筹学动态规划.ppt

第五章 动态规划 动态规划Dynamic Programming 研究多阶段决策的最优化问题的方法。 多阶段决策问题含有一个描述过程时序或空间演变的阶段变量，将复杂问题划分成若干阶段，根据“最优性原理”，逐段解决而最终实现全局最优。 经济、管理、工业生产、工程技术等领域，许多问题可归结为多阶段决策问题。 一些用线性规划、非线性规划处理有困难的问题，往往可以用动态规划方便地求解。 动态规划是美国运筹学家贝尔曼(R.Bellman)等人1959年提出的。 第一节 多阶段决策过程的最优化 多阶段决策： 经济管理决策中，有些管理决策问题可以按时序或空间演变划分成多个阶段 ，呈现出明显的阶段性； 于是可把这类决策问题分解成几个相互联系的阶段，每个阶段即为一个子问题； 原有问题的求解就化为逐个求解几个简单的阶段子问题； 每个阶段的决策一旦确定，整个决策过程也随之确定，此类问题称为多阶段决策问题。 例如： 企业生产物流：可分为物料供应、生产制造、分销零售等阶段。 最短路问题：可以按空间顺序划分阶段。 第一节 多阶段决策过程的最优化 从生产厂Q到某公司T选择那条路线,使总运费最低(路程最短)？ 第一节 多阶段决策过程的最优化 这是一个多阶段决策问题，它可分为四个阶段： 第一阶段：从Q(制造厂)到A(出口港)； 第二阶段：从A(出口港)到B(进口港)； 第三阶段：从B(进口港)到C(城市)； 第四阶段：从C(城市)到T(某公司)。 每个阶段选取的路线不同，对应从Q到T就有一系列不同的运输路线: 从始点Q到终点T共有3×3×2×1=18条不同路线 现在的问题是如何选择一条费用最小的路线？ 第一节 多阶段决策过程的最优化 最短路的基本特征 从始点Q到终点T 的最短路径：Q→ A3→ B1→ C1→T，则 从中点A3 到终点T 的最短路径必为： A3→ B1→ C1→T， 从中点B1 到终点T 的最短路径必为：B1→ C1→T，…。 推广：从始点Q到终点T 的最短路径： Q → S1→ S2→ … → Sk→ Sk+1→ … → Sn→T，则 从中点Sk 到终点T 的最短路径必为： Sk→ Sk+1→ … → Sn→T。 第二节 动态规划的基本概念和基本原理 阶段(stage) 处理多阶段决策，需将全过程划为若干阶段，每个阶段进行一次抉择。 各阶段按一定顺序联接在一起组成统一的整体。 用k表示阶段变量。 阶段编号 顺序编号 逆序编号 第二节 动态规划的基本概念和基本原理 状态(state) 状态表示过程发展中某阶段的初始客观条件。 过程的发展可以通过各阶段状态的演变来描述。 状态可用一个变量来描述，称为状态变量，用sk表示。 选取的状态变量必须满足无后效性。 某阶段的状态给定后，则过程未来发展不受该阶段以前各阶段状态的影响。 第 k 阶段可能有若干状态，用Sk 表示阶段k的状态集合， sk(i)表示第k阶段的第 i 个状态。 第二节 动态规划的基本概念和基本原理 决策(decision) 从上一阶段某状态演变到下一阶段某状态要作一次选择，称为决策。 用变量uk(sk)表示第k阶段状态为sk时的决策，称为决策变量，简记uk 决策变量的取值被限制在某一范围内，此范围称为允许决策集合Uk(sk) 第二节 动态规划的基本概念和基本原理 策略(policy) 多阶段决策过程中，每一阶段均有一个决策，依序组合成一个全过程的决策序列，称为全过程策略。 p1,n(s1)={u1(s1),u2(s2) ,…, un(sn)} ，简记p1,n ={u1, u2,…, un}  从过程的某个阶段开始到最终阶段结束称为后部子过程。从第k阶段开始的后部子策略称为第k子过程策略。 pk,n(sk)={uk(sk), uk+1(sk+1) ,…, un(sn)} ，简记pk,n ={uk, uk+1,…, un} 每一阶段有若干状态,每个状态又有若干个不同的决策,即有许多策略可供选择。全体策略构成允许策略集合Pk,n(sk)。 能使预期目标达到最优效果的策略称为最优策略P*k,n ， 构成最优策略的各决策称为相应阶段的最优决策u*k。 第二节 动态规划的基本概念和基本原理 状态转移方程 下一阶段状态sk+1 是本阶段状态变量sk 和决策变量uk的函数， 即 sk+1 =T(sk, uk(sk)) =T(sk, uk)  从状态sk出发到下一阶段状态sk+1的转移规