第11章动态规划的基本念和基本定理.pptVIP

运筹学 引言 动态规划(Dynamic Programming)是解决多阶段决策问题 最优化的一种数学方法. 1951年, 美国数学家贝尔曼(R. Bellman)等人提出了“最优 化原理”,把多阶段决策问题变换为一系列相互联系的单阶 段决策问题，逐阶段加以求解, 创建了动态规划方法. 名著《动态规划》于1957年出版, 是该领域的第一本著作. 动态规划应用广泛. 如求解最短路问题、生产计划问题、存 储问题、资源分配问题、推销商问题等. 第11章 动态规划的基本概念和基本定理 ? 动态决策问题分类 1. 按数据给出的形式分为： ? 离散型动态决策问题 ? 连续型动态决策问题 2. 按决策过程演变的性质分为： ? 确定型动态决策问题 ? 随机型动态决策问题 引言 第11章 动态规划的基本概念和基本定理 A B1 B2 B3 C1 C2 C3 D1 D2 E 2 4 3 9 5 2 3 5 1 7 1 5 3 6 4 2 7 5 §11.2 动态规划的基本概念和模型构成 一、动态规划的基本概念 以求最短路为例 1. 阶段（stage） 通常根据时间顺序或空间特征把所给问题的全过程恰当地分 为若干个相互联系的阶段, 以便按阶段的次序逐段解决整个 过程的优化问题. A B1 B2 B3 C1 C2 C3 D1 D2 E 2 4 3 9 5 2 3 5 1 7 1 5 3 6 4 2 7 5 一、动态规划的基本概念 以求最短路为例 1. 阶段（stage） 通常根据时间顺序或空间特征把所给问题的全过程恰当地分 为若干个相互联系的阶段, 以便按阶段的次序逐段解决整个过程的优化问题. 描述阶段的变量称为阶段变量, 通常用 k 表示, k = 1 , …, n 一、动态规划的基本概念 1. 阶段（stage） 通常根据时间顺序或空间特征把所给问题的全过程恰当地分 为若干个相互联系的阶段, 以便按阶段的次序逐段解决整个过程的优化问题. 描述阶段的变量称为阶段变量, 用 k 表示, k = 1 , …, n 2. 状态（state） 描述每个阶段开始时所处的自然状况或客观条件. 描述状态的变量称为状态变量, 用 xk表示第 k 阶段的状态变 量. 第 k 阶段所有状态的集合称为第 k 阶段可达状态的集合, 用 Xk表示. 如X3={ C1 ,C2 ,C3} 一、动态规划的基本概念 1. 阶段（stage） 2. 状态（state） 描述每个阶段开始时所处的自然状况或客观条件. 描述状态的变量称为状态变量, 用 xk表示第 k 阶段的状态变 量. 第 k 阶段所有状态的集合称为第 k 阶段可达状态集合, 用 Xk表示. 如X3={ C1 ,C2 ,C3} 3. 决策（decision） 决策的实质是关于状态的选择, 是从一个阶段某状态演变到 下一个阶段某状态的选择. 决策变量 — uk(xk) , 如u2(B1) =C2 一、动态规划的基本概念 1. 阶段（stage） 2. 状态（state） 3. 决策（decision） 决策的实质是关于状态的选择, 是从一个阶段某状态演变到 下一个阶段某状态的选择. 4. 策略（policy） 策略也叫决策序列. 从第1阶段至第n阶段的一个策略称为全过程子策略, 简称策略, 记作p1,n(x1). 从第k阶段至第n阶段的一个策略称为后部子策略, 记作pk,n(xk). 一、动态规划的基本概念 1. 阶段（stage） 2. 状态（state） 3. 决策（decision） 4. 策略（policy） 全过程子策略, 简称策略,记作p1,n(x1). 后部子策略, 记作pk,n(xk). 5. 指标函数（objective function） 用来衡量决策或策略效果的某种数量指标, 称为指标函数. 第k阶段的指标函数记作 vk(xk,uk,). 从第k阶段至第n阶段的指标函数记作 Vk,n(xk , pk,n). 从第1阶段至第n阶段的指标函数记作 V1,n(x1 , p1,n). 一、动态规划的基本概念 1. 阶段（stage） 2. 状态（state） 3. 决策（decision） 4. 策略（policy） 5. 指标函数（objective function） 用来衡量决策或策略效果的某种数量指标, 称为指标函数. 第k阶段的指标函数记作 vk(xk,uk,). 从第k阶段至第n阶段的指标函数记作 Vk,n(