[第9章动态规划.doc

第9章 动态规划 §9.1 动态规划基本概念和基本定理 9.1.1 动态规划举例和基本术语 动态规划是运筹学的一个分支,是解决多阶段决策过程最优化的一种数学方法，主要用于以时间或地域划分阶段的动态过程的最优化． 1951年美国数学家R. Bellman等人根据一类多阶段决策问题的特性，提出了解决这类问题的“最优化原理”，并研究和解决了许多实际问题，从而创立了“动态规划”. 动态规划在工程技术、管理、经济、工业生产、军事以及现代控制工程等领域中都有广泛的应用，并获得显著的效果． 多阶段决策过程: 由于其特性可将过程按时间、空间等标志分为若干个状态互相联系而又相互区别的阶段． 在每一阶段都需要作出决策，从而使整个过程达到最优． 各个阶段决策的选取依赖于当前面临的状态，又给以后的发展以影响． 当各个阶段决策确定后，就组成了一个决策序列，因而也就决定了整个过程的一条活动路线． 这样一个前后关联具有链状结构的多阶段过程就称为多阶段决策过程，也称序贯决策过程． 动态规划举例： 例1：最短路线问题: 确定一条由A到E路程最短的路线． 这种多阶段决策过程最优化是典型动态规划问题． 将整个过程分成4个阶段，要求在每个阶段做出选择，使从A到E的全过程达到最优化，即使总路程最短（或费用最小）． 例2:生产-存贮问题: 某工厂根据市场调查情况，需制定今后四个月的生产计划。市场对该产品需求量如下： 月份 1 2 3 4 需求 2 3 2 4 假定生产每批产品的固定成本费为3千元，每单位产品的生产成本费为1千元，库存费为每月0.5千元，并且假定1月初和4月末均无产品库存． 试求该厂如何安排各个月的生产与库存，使总成本费最小？ 基本术语： （1）阶段和阶段变量 阶段是整个过程的自然划分，通常按时间顺序或空间特性划分阶段。 表示阶段序号的变量称为阶段变量，用字母k表示． （2）状态和状态变量 每个阶段开始所处的自然状况或客观条件称为状态，是不可控因素． 例1中，每个阶段的状态为该阶段初始点的集合． 描述每个阶段状态的变量称为状态变量，用表示第k阶段的状态变量． 的全体可取值组成的集合，称为第k阶段允许状态集合，用表示． 对例1： 注1：动态规划中定义的状态应具有无后效性。 无后效性又称马尔科夫性，指系统从某个阶段后的发展，完全由本阶段所处的状态及其往后的决策决定，与系统以前的状态和决策无关． 具有无后效性的多阶段决策过程，意味着系统过程的历史只能通过系统现阶段的状态去影响系统的未来，即当前状态就是过程往后发展的初始条件． （3）决策、决策变量和决策序列 一个阶段的状态确定后，可以作出不同的选择，从而演变到下阶段的某个状态，这种选择称为决策． 描述决策的变量称为决策变量，用表示第k阶段状态变量取值时的决策变量． 给定状态变量的取值后，决策变量全体可取值组成的集合称为第阶段从出发的允许决策集合，用表示． 对例1，． 由决策组成的序列称为决策序列． 从初始状态开始，由各阶段决策()组成的序列称为全过程策略，简称为策略，记作。 从第k阶段开始到终止状态的过程称为后部子过程（或称k子过程）． 由k子过程各阶段的决策组成的序列称为k子过程策略，简称为子策略，记作． 实际问题中，可供选择的策略有一定范围，称此范围为允许策略集合，记作. 允许策略集合中达到最优效果的策略称最优策略． （4）状态转移方程 若第k阶段的状态和决策给定，则第阶段的状态随之而定： 称此关系为状态转移方程． 例1中，状态转移方程为. （5）指标函数 指标函数是衡量过程优劣的数量指标，它是定义在全过程和所有后部子过程上的数量函数． ：表示初始状态为采取策略时全过程的指标函数值． ：表示在第k阶段状态为采用策略时，后部子过程的指标函数值． 采用不同的策略可以得出不同的指标函数值． 指标函数取得最优值（最大值或最小值）时，相应的策略称为最优策略． 最优指标函数记作 它与指标函数之间的关系： 注2：指标函数应具有可分离性，并满足递推关系，即可表示成，和的函数。 常见的指标函数形式： ① ② 表示第j阶段的阶段指标． （6）最优策略和最优轨线 使指标函数达到最优值的策略称为第k后部子过程中的最优策略； 使指标函数达到最优值的策略称为全过程中的最优策略，简称为最优策略． 按最优策略和状态转移方程得出的状态序列，，… ，称为最优轨线． 9.1.2动态规划基本定理和基本方程 最优性原理： 多阶段决策过程的特点：每个阶段都要进行决策，n段决策过程的策略是由n个相继进行的阶段决策构成的决策序列． 由于前一阶段的终止状态又是后一阶段的初始状态，因此，阶段k的最优决策不应该只是本阶段效应的最优，而必须是本阶段及其所有后续阶段的总体最优，