应用运筹学-6.ppt

动态规划 动态规划是解决多阶段决策过程最优化的数学方法 动态规划概述 产生于上世纪50年代，由R. Bellman 等人提出 基本思想： 把多阶段决策问题变换为一系列互相联系的单阶段问题，然后逐个加以解决； “最优性原理” 动态规划的方法，在工程技术、企业管理、工农业生产及军事等部门有着广泛的应用，并获得了显著的效果。在企业管理方面： 最优路径问题 资源分配问题 生产调度问题 库存问题 装载问题 排序问题 设备更新和生产过程最优控制等 动态规划的基本方法 多阶段决策过程及实例 动态规划的基本概念和基本方程 动态规划的最优性原理 动态规划和静态规划的关系 多阶段决策过程： 在生产和科学实验中，有一类活动过程，可将其分为若干个互相联系的阶段，在其每一个阶段都需要作出决策，从而使整个过程达到最好的活动效果； 各阶段决策的选取不是任意确定的，它依赖于当前面临的状态，又影响以后的发展； 当各阶段决策确定后，就组成了一个决策序列，因而也就决定了整个过程的一条活动线路； 这种把一个问题看作是一个前后关联具有链状结构的多阶段过程，称为多阶段决策过程。 一、多阶段决策过程及实例 1 状态 决策 2 状态 决策 状态 … n 状态 决策 状态 最短路线问题 多阶段决策问题的实例 2 5 1 12 14 10 6 10 4 13 11 12 3 9 6 5 8 10 5 2 C1 C3 D1 A B1 B3 B2 D2 E C2 求从A到E的最短路径 机器负荷分配问题 某种机器可以在高低两种不同负荷下进行生产。 在高负荷下进行生产时，产品的年产量g和投入生产的机器数量u1的关系为 g=g(u1)　　　　　　　　　　　　　　　 这时，机器的年完好率为a (0a1) 在低负荷下生产时，产品的年产量h和投入生产的机器数量u2的关系为 h=h(u2) 相应的机器完好率为b (0ab1) 假定开始生产时完好的机器数量为s1，要求制定一个五年计划，在每年开始时，决定如何重新分配完好的机器在两种不同的负荷下生产的数量，使在五年内产品的总产量达到最高。 多阶段决策问题的实例(续) 阶段——把所给问题的过程，恰当地分为若干个相互联系的阶段，以便能按一定的次序求解。 阶段变量k 状态——每个阶段开始所处的自然状况或客观条件，它描述了研究问题的状况，又称不可控因素。一般指某阶段的出发位置；事实上，它既是该阶段某支路的起点，又是前一阶段某支路的终点。 Sk —第k阶段的状态变量，可达状态集合 无后效性(马尔科夫性)—如果某阶段状态给定后，则在这个阶段以后过程的发展不受这个阶段以前各段状态的影响。 决策——当过程处于某一阶段的某个状态时，可作出不同的决定，从而确定下一阶段的状态。或称为控制。 决策变量uk(sk) —第k阶段当状态处于sk时的决策变量 允许决策集合Dk(sk) —第k阶段从状态sk出发的允许决策集合 uk(sk) ?Dk(sk) ， 或uk(sk)是一多值函数 2.1动态规划的基本概念 策略——一个按顺序排列的决策组成的集合。 k子过程—由过程的第k阶段开始到终止状态为止的过程。 k子过程策略pk,n(sk)—由k子过程每段的决策按顺序排列组成的决策函数序列{uk(sk),…, un(sn)}，即pk,n(sk)= {uk(sk),…, un(sn)} 允许策略集合P 最优策略 策略 状态移动方程——确定过程由一个状态到另一个状态的演变过程。 若给定第k阶段状态变量sk值，如果该阶段的决策变量uk一经确定，第k+1阶段状态变量sk+1的值也完全确定 sk+1 = Tk(sk , uk) 状态转移方程 指标函数——用来衡量所实现过程优劣的一种数值指标。它是定义在全过程和所有后部子过程上确定的数量函数。用Vk,n表示 Vk,n= Vk,n(sk , uk , sk+1,…, sn+1) k=1,2,…,n. Vk,n应具有可分离性，并满足递推关系，即 Vk,n(sk , uk , sk+1,…, sn+1)=?k (sk , uk , Vk+1,n (sk+1,…, sn+1)) 常见的指标形式 　 　 最优值函数，fk(sk) 指标函数与最优值函数 最短路线的一个特征 如果由起点A经过P点和H点而到达终点G是一条最短路线，则由点P出发经过H点到达终点G的这条子路线，对于从点P出发到达终点G的所有可能选择的不同路线来说，必定也是最短路线。 2.2动态规划的基本思想和基本方程 2 5 1 12 14 10 6 10 4 13 11 12 3 9 6 5 8 10 5 2 C1 C3 D1 A B1 B3 B2 D2 E C2 A?B2 ?C1 ?D1 ?E 寻找最短路线的方法 从最后一段开始，由后向前逐步递