第8章节动态规划第1-2节.pptVIP

第1节 多阶段决策过程及实例第2节 动态规划的基本概念和基本方程 运筹学 （第三版） 《运筹学》教材编写 组 第8章 动态规划的基本方法  清华大学出版社 第8章 动态规划的基本方法 第1节?多阶段决策过程及实例 第2节 动态规划的基本概念和基本方程 第3节 动态规划的最优性原理和最优性定理 第4节 动态规划和静态规划的关系 动态规划（Dynamic Programming）是运筹学的一个重要分支，它是解决多阶段决策过程最优化的一种方法。美国数学家贝尔曼（R. E. Bellman）等人在50年代初提出了解决多阶段决策问题的“最优性原理”（Principle of Optimality）。1957年贝尔曼出版了专著“动态规划”，该书是动态规划的第一本著作。目前动态规划已经用于解决最优路径问题、资源分配问题、生产调度问题、设备更新问题、复合系统可靠性问题及生产过程最优控制等，并且取得了显著的效果。 第1节?多阶段决策过程及实例 在生产经营活动中，某些问题决策过程可以划分为若干相互联系的阶段，每个阶段需要做出决策，从而使整个过程取得最优。 各个阶段不是孤立的，而是有机联系的，也就是说，本阶段的决策将影响过程下一阶段的发展，从而影响整个过程效果，所以决策者在进行决策时不能够仅考虑选择的决策方案使本阶段最优，还应该考虑本阶段决策对最终目标产生的影响，从而做出对全局来讲是最优的决策。 多阶段决策问题中，各个阶段一般是按照时间来划分的，随着时间的发展而产生各个阶段的决策，从而形成决策序列，这就是动态的含义。 在一些与时间无关的静态问题中（如非线性规划等），可以人为地赋予时间的概念，使其成为一个多阶段决策问题，再用动态规划方法处理。 当每个阶段的决策确定以后，全部过程的决策就是这些阶段决策所组成的一个决策序列，所以多阶段决策问题也称为序贯决策问题。 例1 最短路线问题 给定一个线路网络，两点之间连线上的数字表示两点之间的距离（或费用），试求一条由A到G的铺管线路，使总距离为最短（或总费用最小）。 例2. 机器负荷分配问题 某种机器可以在高低两种不同的负荷下进行生产。 在高负荷下进行生产时，产品的年产量g和投入生产的机器数量u1的关系为g=g(u1)，这时，机器的年完好率为a，即如果年初完好机器的数量为u，到年终完好的机器就为au, 0a1。 在低负荷下生产时，产品的年产量h和投入生产的机器数量u2的关系为 h=h(u2)，相应的机器年完好率b, 0 b1。 假定开始生产时完好的机器数量为s1。要求制定一个五年计划，在每年开始时，决定如何重新分配完好的机器在两种不同的负荷下生产的数量，使在五年内产品的总产量达到最高。 第2节 动态规划的基本概念和基本方程 当某阶段的始点给定时，它直接影响后面各阶段的进行路线和整个路线的长短，而后面各阶段的路线的发展不受这点以前各阶段线路的影响。(无后效性） 问题要求：在各阶段中选取一个恰当的决策，使由这些决策组成的一个决策序列所决定的一条路线，其路程最短。 穷举法　2*3*2*2*2*1=48 2.1 动态规划的基本概念 1　阶段（Stage) 根据所需解决问题的特点，按照时间或空间顺序把整个过程划分为若干相互联系的阶段，以便按照一定次序求解。 描述阶段的变量称为阶段变量，通常用k表示。 2.　状态(State) 状态表示各阶段开始所处的自然状况或客观条件，它既是某阶段过程演变的起点，又是前一阶段某种决策的结果。 描述状态的变量称为状态变量，常用Sk表示第k阶段的状态变量。 S1=｛A｝ S2=｛B1，B2｝ S3=｛C1，C2，C3，C4｝ 无后效性(即马乐科夫性） 系统从某个阶段往后的发展演变，完全由系统本阶段所处的状态及决策所决定，与系统以前的状态及决策无关。 只有具有无后效性的多阶段决策过程才适合于用动态规划方法求解。 3.　决策(Decision) 当各阶段的状态选定以后，可以做出不同的决定（或选择）从而确定下一个阶段的状态，这种决定（或选择）称为决策。 表述决策的变量称为决策变量 uk（sk）表示第k阶段当状态为sk时的决策变量。 允许决策集合　决策变量的取值范围，Dk（sk） uk（sk）∈ Dk（sk） 如D2（B1）＝｛C1,C2,C3}，若从B1出发选取C2，则C2是状态B1在决策u2(B1)作用下的一个新的状态，记为u2(B1)=C2 4. 策略(Policy) 策略 是一个按顺序排列的决策组成的集合。当各个阶段的决策确定以后，各阶段的决策形成的一个决策序列 最优策略 使系统达到最优效果的策略 k后部子过程（或称为k子过程） 在n阶段决策过程中，从第k阶段到终止状态的过程 k后部子过程策略，简称