李建平-运筹学-第8章.ppt

《运 筹 学 通 论》 云南大学数学系 李建平 2011年3月 第八章 动态规划 动态规划是运筹学的一个分支，它是一 种解决多阶段决策问题的数学方法，最早由美 国数学家R. Bellman于1951年提出。其特点 是把多阶段决策问题转变为一系列相互联系的 单阶段问题，然后逐个加以解决。同时，他提 出解决这类问题的“最优性原理”，研究了许多 实际问题，从而创建了解决最优化问题的新方 法—动态规划。 在企业管理中，动态规划可用解决最优 路径问题、资源分配问题、生产调度问题、 库存问题、排序问题、设备更新问题等。 动态规划是求解某类问题的一种方法， 是考察问题的一种途径，而不是一种特殊的 算法（如线形规划是一种特殊算法），它没 有一个标准的数学表达式和明确定义的一组 规则，而必须对具体的问题进行具体分析处 理。我们应该以丰富的想象力去建立模型， 用创造性的技巧去解决问题。 第1节 多阶段决策过程及实例 一个决策问题由多个阶段的决策构成，这些阶段前后是有关联的，具有如下链状结构。 各阶段决择的选取不是任意的，而是依赖 于当前面临的状态，又影响后面的发展。这种 把一个物体可看作是前后管理局于链状结构的 多阶段过程就称为多阶段决策过程，也称为序 贯决策过程。该问题就称为多阶段决策问题。 在多阶段决策问题中，各阶段的决策依赖 于当前的状态，也依赖于引起状态的转移，一 个决策序列就是在变化的状态中产生的。故称 该方法为动态规划方法。 下面举例说明。 例2． 机器负荷分配问题 某机器可在高低两种不同的负荷下进行生产，在高负荷下的产品年产量g与投入生产的机器数量u1的关系为：g=g(u1)，g(0)=0, 此时的机器完好率为a（0a1），即如果年初时完好机器的数量为u,到年终时完好机器的数量为ua ；在低负荷下生产时，产品年产量h与投入生产的机器数量u2的关系为：h=h(u1)，h(0)=0, 此时的机器完好率为b（0b1）。 假定开始生产时完好的机器数量为s1,试制定一个五年计划，在每年开始时决定如何重新分配完好的机器于高低负荷生产，使五年内产品的总产量最大。 第2节 动态规划的基本概念和基本方程 一、基本概念 1．阶段(Stage) 阶段变量用k表示,一般有顺序编号法和逆序编号法。 2．状态（State） 表示每个阶段开始所处的自然状况或客观条件。它既反映前面各阶段决策的结局，又是本阶段决策的出发点和依据。 描述过程状态的变量称为状态变量。第k阶段的状态变量记为sk, sk的取值范围称为可达状态集合，记为Sk。状态变量具有马尔可夫性。 3．决策（Decision） 某一阶段所作的决定。第k阶段的决策变量记为uk(sk),其取值范围称为允许决策集合，记为Dk(sk)。 4．策略（Policy） 策略是若干个阶段的决策构成的集合。第k阶段开始至终止状态的过程称为后部子过程（或k子过程），它对应的策略记为： pk,n(sk)={uk(sk), uk+1(sk+1),…, un(sn)} 类似地，第一阶段的初始状态至第k阶段的终止状态的过程称为前部子过程，它对应的策略记为： p1,k(sk)={u1(s1), u2(s2),…, uk(sk)} 5．状态转移方程 状态转移方也称状态转移规律，记为：sk+1=Tk(sk,uk)。 6．阶段指标函数 阶段指标函数是对应某一阶段状态和从该状态出发的一个阶段的决策的某种效益度量，记为：vk(sk,uk)。 7．过程指标函数 是阶段指标函数的函数，用来衡量某过程所采取策略对应的效益。K子过程的指标函数记为： Vk,n=Vk,,n(sk,uk,sk+1,uk+1,…,un,sn+1) 前部子过程的指标函数记为：V1,k。 过程指标函数与阶段指标函数的形式常为： (1)?? Vk,n=∑nj=1vj(sj,uj) (2)?? Vk,n=Ⅱnj=1 vj(sj,uj) 8．最优值函数 指标函数的最优值，表示从第k阶段至第n阶段采取最优策略所得到的指标函数值。记为： fk(sk)=opt Vk,n （让决策变量uk,…,un变化） 二、动态规划的基本思想和基本方程 动态规划问题的复杂性在于各阶段决策之间的相互联系。 动态规划的基本思想是将一个多阶段决策问题转化为依次求解多个单阶段决策问题。用动态规划求最优解时，都是在行进方向规定后，逆着这个规定的行进方向，从最后一段向前逆推技术，逐段找出最优解。 2．? 顺序解法 当最后一个阶段的终止状态已知时，行进方向从右到左，一般用顺序法求解。