系统工程第2版 作者 杜瑞成 等主编第6章 动态规划 6-1.pptVIP

6.1 动态规划的基本原理和基本方程 6.1.1 动态规划的最优性原理 6.1.2 动态规划的基本概念 6.1.3 动态规划的基本方程 6.1.4 建立动态规划的数学模型 6.1.5 动态规划的求解 6.1 动态规划的基本原理和基本方程 6.1 动态规划的基本原理和基本方程 6.1 动态规划的基本原理和基本方程 6.1 动态规划的基本原理和基本方程 6.1 动态规划的基本原理和基本方程 6.1 动态规划的基本原理和基本方程 6.1 动态规划的基本原理和基本方程 6.1 动态规划的基本原理和基本方程 6.1 动态规划的基本原理和基本方程 6.1 动态规划的基本原理和基本方程 6.1 动态规划的基本原理和基本方程 6.1 动态规划的基本原理和基本方程 6.1 动态规划的基本原理和基本方程 * 《系统工程》主编 杜瑞成 闫秀霞 * 电子制作 齐向阳 在线教务辅导网： 教材其余课件及动画素材请查阅在线教务辅导网 QQ:349134187 或者直接输入下面地址： 6.1.1 动态规划的最优性原理 ◆ 动态规划是解决多阶段决策问题的一种数学方法。 ◆ 所谓多阶段决策问题，是指对系统运行过程中若干相继阶段的每一段都要作出决策，并使整个过程达到最优的一类问题。 50年代，美国数学家贝尔曼(Richard Bellman)等人，根据多阶段决策问题的性质，提出了解决这类问题的“最优性原理”，并研究了许多实际问题，从而建立了一种新的最优化方法——动态规划（Dynamic Programming)。 表述一：一个最优策略具有这样的性质，不论初始状态及初始决策如何，对于该决策所造成的某一状态而言，下余的所有决策必构成一个最优策略。 表述二：假设对任意的时刻t，不论过程在时刻t以前的历史状态如何，若按时刻t的状态而言，过程今后的行为是最优的。则整个过程的行为亦必是最优的。(无后效性) 表述三：如图，假设采取了最优策略，得到了某个系统运动的最优轨线，该最优轨线将状态空间中的点（起点）与点（终点）连接起来，现在最优轨线上取某个中间点，从而将最优线分为Ⅰ、Ⅱ两段，则子轨线Ⅱ也是最优的。 6.1.1 动态规划的最优性原理 表示每个阶段开始所处的自然状况或客观条件。又称不可控因素。描述过程状态的变量称为状态变量，用si 表示。显然，si 既是阶段（i-1）的结束状态，又是阶段 i 的起始状态。 将整个系统过程恰当地分为若干个相互联系的阶段，以便能按一定的次序求解。描述阶段的变量称为阶段变量，常用i 表示。阶段数用n表示。 (2)状态（State） (1)阶段（Stage） 6.1.2 动态规划的基本概念 (3)决策（Decision） (4)策略（Policy）各阶段的决策组成的一个决策序列称为一个策略，记为： 从阶段i开始的过程，称为i子过程，它包含阶段i，阶段i+1，…，阶段n。i子过程的决策序列称为i子策略，记为 阶段指标(或阶段收益)，是衡量每一阶段决策优劣的数量指标。指标函数是衡量全过程策略或i子过程策略优劣的数量指标,指标函数的最优值称为最优指标函数，记为 f1(s1) 或 fi (si)。 （5）状态转移方程 由某一阶段的一个状态到下一阶段的另一状态的演变称为状态转移。描述状态转移规律的方程称为状态转移方程。记为 si+1 = gi (si , xi) gi称为状态转移函数。 （6）阶段指标、指标函数、最优指标函数 6.1.3 动态规划的基本方程 (1) 动态规划的基本方程(逆序递推公式) ， (2) 动态规划的基本方程(正序递推公式) ， 6.1.4 建立动态规划的数学模型 （1）划分阶段 按照时间、空间、变量等进行划分。 （2）确定状态变量Si和状态集合 （3）确定决策变量xi及允许决策集合 （4）建立状态转移方程 si-1= g(si, xi) 或 si+1= g(si, xi) （5）确定各阶段的阶段收益 （6）确定指标函数，建立动态规划的基本方程 （7）确定边界条件 6.1.5 动态规划的求解 (1) 动态规划求解的基本方程(逆序递推公式) ， (2) 动态规划的求解的基本方程(正序递推公式) ， 6.1.5 动态规划的求解 子问题n 即原问题 子问题 n-1 … 子问题 2 子问题 1 解题方向 阶段1，阶段2，…，阶段（n-1），阶段n 过程发展方向 动态