数学建模第六章最优化方法建模 66动态规划模型举例.pptVIP

§ 6 动态规划模型举例 以上讨论的优化问题属于静态的， 即不必考虑时 间的变化，建立的模型 —— 线性规划、非线性规划、 整数规划等， 都属于静态规划。 多阶段决策 属于动态 优化问题， 即 在每个阶段 （通常以时间或空间为标志） 根据过程的演变情况确定一个决策， 使全过程的某个 指标达到最优。 例如： （ 1 ）化工生产过程中包含一系列的过程设备，如反 应器、蒸馏塔、吸收器等，前一设备的输出为后一设 备的输入。因此，应该如何控制生产过程中各个设备 的输入和输出，使总产量最大。 （ 2 ）发射一枚导弹去击中运动的目标，由于目标的 行动是不断改变的， 因此应当如何根据目标运动的情 况，不断地决定导弹飞行的方向和速度，使之最快地 命中目标。 （ 3 ）汽车刚买来时故障少、耗油低，出车时间长， 处理价值和经济效益高。 随着使用时间的增加则变得 故障多，油耗高，维修费用增加，经济效益差。使用 时间俞长，处理价值也俞低。另外，每次更新都要付 出更新费用。 因此， 应当如何决定它每年的使用时间， 使总的效益最佳。 动态规划模型 是解决这类问题的有力工具，下面 介绍相关的基本概念及其数学描述。 （ 1 ）阶段 整个问题的解决可分为若干个相互联系 的阶段依次进行。通常按时间或空间划分阶段，描述 阶段的变量称为 阶段变量 ，记为 k 。 （ 2 ）状态 状态表示每个阶段开始时所处的自然状 况或客观条件， 它描述了研究过程的状况。 各阶段的 状态通常用 状态变量 描述。常用 k x 表示第 k 阶段的状 态变量。 n 个阶段的决策过程有 1 ? n 个状态。用动态 规划方法解决多阶段决策问题时， 要求整个过程具有 无后效性 。即：如果某阶段的状态给定，则此阶段以 后过程的发展不受以前状态的影响， 未来状态只依赖 于当前状态。 （ 3 ）决策 某一阶段的状态确定后，可以作出各种 选择从而演变到下一阶段某一状态， 这种选择手段称 为 决策 。 描述决策的变量称为 决策变量 。 决策变量限 制的取值范围称为 允许决策集合 。 用 ) ( k k x u 表示第 k 阶 段处于状态 k x 时的决策变量， 它是 k x 的函数， 用 ) ( k k x D 表示 k x 的允许决策集合。 （ 4 ）策略 一个由每个阶段的决策按顺序排列组成 的集合称为 策略 。由第 k 阶段的状态 k x 开始到终止状 态的后部子过程的策略记为 )} ( , ), ( ), ( { ) ( 1 1 n n k k k k k k x u x u x u x p ? ? ? ? 在实际问题中，可供选择的策略有一定范围，称 为 允许策略集合 。 其中达到最优效果的策略称为 最优 策略 。 （ 5 ）状态转移方程 如果第 k 个阶段状态变量为 k x ， 作出的决策为 k u ，那么第 1 ? k 阶段的状态变量 1 ? k x 也被 完全确定。用状态转移方程表示这种演变规律，写作 ( 1 k k T x ? ? k x ， ) k u （ 6 ）最优值函数 指标函数是系统执行某一策略所 产生结果的数量表示， 是用来衡量策略优劣的数量指 标，它定义在全过程和所有后部子过程上。指标函数 的最优值称为 最优值函数 。 下面的方程在动态规划逆序求解中起着本质的作用。 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 1 , , 1 , ), , ( , 0 ) ( )], ( )) ( , ( [ min ) ( 1 1 1 1 1 ) ( ? n n k u x T x x f x f x u x v x f k k k k n n k k k k k k x D u k k k k k 称此为动态规划逆序求解的基本方程（ 贝尔曼方 程 ） 。 可以把建立动态规划模型归纳成以下几个步骤： （ 1 ）将问题恰当地划分为若干个阶段； （ 2 ）正确选择状态变量，使它既能描述过程的演 变，又满足无后效性； （ 3 ）规定决策变量，确定每个阶段的允许决策集合； （ 4 ）写出状态转移方程； （ 5 ）确定各阶段各种决策的阶段指标，列出计算各 阶段最优后部策略指标的基本方程。 下面结合具体例子阐述建立动态规划模型的思路。 例 13 生产计划问题。 公司要对某产品制定 n 周的生产 计划，产品每周的需求量、生产和贮存费用、生产能 力的限制、初始库存量等都是已知的，试在满足需求 的条件下，确定每周的生产量，使 n 周的总费用最少。