动态规划的基本概念与方法.pptVIP

第九章 动态规划 （Dynamic Programming） 本章主要内容： 动态规划是解决多阶段决策过程最优化问题的一种方法。由美国数学家贝尔曼（Ballman）等人在20世纪50年代提出。他们针对多阶段决策问题的特点，提出了解决这类问题的“最优化原理”，并成功地解决了生产管理 、 工程技术等方面的许多实际问题。 需指出：动态规划是求解某类问题的一种方法，是考察问题的一种途径，而不是一种算法。必须对具体问题进行具体分析，运用动态规划的原理和方法，建立相应的模型，然后再用动态规划方法去求解。 简 介： 第一节 动态规划的基本概念与方法 第二节 动态规划应用举例 第一节 动态规划的基本概念与方法 一、多阶段决策问题 多阶段决策问题，是指这样一个活动过程，它由相互联系的若干个阶段组成，在它的每一个阶段都要作出决策，并且每一个阶段的决策确定以后，就决定了一个过程的活动路线。 各个阶段的决策确定以后就形成一个决策序列，称为策略。由于每个阶段选择的决策不同，因此就形成不同的策略。多阶段决策问题就是要从允许选择的策略集合中选择一策略，使活动达到最佳效果。 时间阶段的例子（机器负荷问题） 1 2 3 4 5 S1=1000 x1 x2 x5 x4 x3 s5 v1 v2 v3 v4 v5 s2 s3 s4 某种机器可以在高、低两种负荷下进行生产。高负荷年产量8，年完好率0.7；低负荷年产量5，年完好率0.9。现有完好机器1000台，需制定一个5年计划，以决定每年安排多少台机器投入高、低负荷生产，使5年的总产量最大。 如图为一线路网络。现要从A点铺设一条管道到E点，图中两点间连线上数字表示两点间距离。现需选一条由A到E的铺管线路，使总距离最短。 A E B1 B2 B3 C1 C2 C3 D1 D2 2 9 5 3 12 2 5 1 5 6 4 6 8 10 13 12 11 14 10 阶段1 阶段2 阶段3 阶段4 2. 空间阶段的例子（最短路问题） 二、基本概念与方程 阶段——分步求解的过程，用阶段变量k表示，k=1，…，n 状态——每阶段初可能的情形或位置，用状态变量Sk表示。 按状态的取值是离散或连续，将动态规划问题分为 离散型和连续型。 1.基本概念 状态的选择应使其具有“无后效应”，即过程的历史只能通过当前的状态去影响它未来的发展。或者说过程未来的进程只与当前的状态有关，而与过程的历史无关。 状态集合——某阶段所有可能的状态的全体 如最短路问题，状态集合{S3}={C1，C2，C3} 决策——每阶段状态确定后的抉择，即从该状态演变到下阶 段某状态的选择，用决策变量xk= xk(SK)表示由k阶 段Sk状态出发所做的决策。 允许决策集合—— 在Sk状态下决策变量xk可选择的范围，用 Dk(Sk)表示。 A E B1 B2 B3 C1 C2 C3 D1 D2 2 9 5 3 12 2 5 1 5 6 4 6 8 10 13 12 11 14 10 阶段1 阶段2 阶段3 阶段4 阶段指标——每阶段在状态Sk选定决策xk后所产生的效益，记 vk= vk(Sk， xk)。 指标函数——各阶段的总效益，相应于阶段k状态Sk出发到终点的后部子策略Pkn的指标函数记为Vkn= Vkn(Sk， Pkn )。 最优指标函数——由阶段k状态Sk出发到终点的所有可能后部子策略产生的指标函数中最优者，记 fk = fk（ Sk ）=opt Vkn 问题：动态规划的最优解和最优值各是什么？ ——最优解：最优策略P1n ， 最优值：最优指标f1。 策略——由各阶段决策组成的序列，记P1n={x1，…， xn}， 称Pkn={xk，…， xn}为阶段k至n的后部子策略。 状态转移——由Sk转变为Sk+1的规律，记Sk+1=T(Sk， xk)。p207 A E B1 B2 B3 C1 C2 C3 D1 D2 2 9 5 3 12 2 5 1 5 6 4 6 8 10 13 12 11 14 10 阶段1 阶段2 阶段3 阶段4 说明状态转移、策