11-动态规划1.pptVIP

用动态规划方法求解多阶段决策问题，与“时间”关系很密切，随着时间过程的发展对各阶段做出决策，会产生一系列决策，形成一个决策序列，这就是“动态”的意思。然而动态规划方法也可以解决与时间无关的静态问题，只要在问题中人为地引入“时段”因素，就可以把一个静态问题转化为一个多阶段决策问题。在本章中将介绍这种处理方法。 动态规划求解的多阶段决策问题的特点 通常多阶段决策过程的发展是通过状态的一系列变换来实现的。 一般情况下，系统在某个阶段的状态转移除与本阶段的状态和决策有关外，还可能与系统过去经历的状态和决策有关。 适合于用动态规划方法求解的只是一类特殊的多阶段决策问题，即具有“无后效性”的多阶段决策过程。 无后效性（又称马尔柯夫性） 　　　无后效性（又称马尔柯夫性）是指系统从某个阶段往后的发展，仅由本阶段所处的状态及其往后的决策所决定，与系统以前经历的状态和决策(历史)无关。 4.状态转移方程:系统在阶段k处于状态sk，执行决策uk(sk)的结果是系统状态的转移，即系统由阶段k的初始状态sk转移到终止状态sk+1 。 6.指标函数 用来衡量策略或子策略或决策的效果的某种数量指标，就称为指标函数。它是定义在全过程或各子过程或各阶段上的确定数量函数。对不同问题，指标函数可以是诸如费用、成本、产值、利润、产量、耗量、距离、时间、效用，等等。 * 多阶段决策问题： 一个动态系统可以按照时间分为状态既相互联系又相互区别的若干个阶段，每个阶段依据系统所处的不同状态进行决策，目的是使整个决策过程达到最优效果。动态规划是求解多阶段决策问题的一个有效方法。 1 2 n ? 状态 决策 状态 决策 状态 状态 决策 多阶段决策过程示意图： 包含随时间变化的因素和变量的系统。 第一节 多阶段决策过程及实例 动态系统： 动态规划（Dynamic Programming） 第一节 多阶段决策过程及实例 第一节 多阶段决策过程及实例 第一节 多阶段决策过程及实例 A B1 B2 C1 C2 C3 C4 D1 D2 D3 E1 E2 E3 F1 F2 G 5 3 1 3 6 8 7 6 6 8 3 5 3 3 8 4 2 2 1 2 3 3 3 5 5 2 6 6 4 3 1 2 3 4 5 6 第一节 多阶段决策过程及实例 动态规划方法导引 为了说明动态规划的基本思想方法和特点，以下图为例讨论求最短路问题的方法 3 7 5 9 7 6 8 13 10 9 12 13 16 18 最短路的特性：如果已有从起点到终点的一条最短路，那么从最短路线上任何一点出发到终点的最短路仍然在这条最短路上。（证明用反证法） 4 A B1 B2 C1 C2 C3 C4 D1 D2 D3 E1 E2 E3 F1 F2 G 5 3 1 3 6 8 7 6 6 8 3 5 3 3 8 4 2 2 1 2 3 3 3 5 5 2 6 6 3 1 2 3 4 5 6 4 状态变量的取值有一定的允许集合或范围，此集合称为允许状态集合。 1. 阶段、阶段变量 一个动态系统，可以按时间或空间的自然特征划分为若干个相互联系的阶段; 描述阶段的变量称为阶段变量，常用k表示； 2. 状态、状态变量 状态：每个阶段开始时所处的自然状况。 通常一个阶段有若干个状态。 描述状态的变量称为状态变量，常用sk表示第k阶段的状态。 年、月 路段 第二节 动态规划的基本概念 决策变量的取值范围称为允许决策集合。常用Dk(sk)表示第k阶段当状态为sk时的允许决策集合，显然有 描述决策的变量，称为决策变量 决策变量是状态变量的函数 常用uk(sk) 表示第k阶段当状态为 sk时的决策变量。 3. 决策、决策变量 在某一阶段的某个状态, 可以做出不同的选择, 这种选择称为决策。 uk(sk) ? Dk(sk) 1 2 k ? s1 u1(s1) s2 u2(s2) s3 sk uk(sk) Sk+1 对于具有无后效性的多阶段决策过程,系统由阶段k到阶段k+1的状态转移完全由阶段k的状态sk和决策 uk(sk) 所确定，与系统过去的状态及其决策无关。系统状态的这种转移，用数学公式描述即有： sk+1=Tk(sk,uk(sk)) 通常称上式为多阶段决策过程的状态转移方程。 由第k阶段开始