动态规划说课.ppt

即城市⑤到终点最短距离为5，其路径为⑤→⑧→E。相应决策为 第三步：k=2,这是具有三个初始状态①、②、③，要经过两个中途站才能到达终点的三级决策问题。由于第3段各点④，⑤，⑥到终点E的最短距离已知，所以我们若求城市①到E的最短距离，只需以它们为基础，分别加上城市①与④、⑤、⑥的一段距离，加以比较取其短者即可。 同理有： 第四步k=1,只要一个状态A，则： 再按计算顺序反推可得最优决策序列{ }即： * 动态规划（Dynamic Programming） R. Bellman 1957年发表“Dynamic Programming”一书，标识动态规划的正式诞生。 动态规划的研究对象和引例 动态规划的理论基础和具体迭代方 法 动态规划的基本思想和基本方程 动态规划的基本概念和定义 动态规划是解决多阶段决策过程的基本方法之一。 1 2 3 4 5 第一节 动态规划的研究对象和引例 最短路问题 A 1 2 3 4 5 6 7 8 E 6 4 5 8 7 7 8 9 3 3 8 9 5 6 5 6 2 1 3 4 动态决策问题的特点： 在多阶段决策过程中,系统的动态过程可以按照时间或空间进程分为状态相互联系而又相互区别的各个阶段 每个阶段都要进行决策, 目的是使整个过程的决策达到最优效果。 1 2 n ? 状态 决策 状态 决策 状态 状态 决策 但要便于把问题的过程能转化为多阶段决策 的过程。 状态变量的取值有一定的允许集合或范围，此集合称为状态允许集合。 第二节 动态规划的基本概念和定义 1. 阶段（stage） 把所给问题的过程，适当地分为若干个相互联系的阶段; 描述阶段的变量称为阶段变量，常用k表示； 阶段的划分，一般是按时间和空间的自然特征来划分 ； 2. 状态（state） 每个阶段开始所处的自然状态或客观条件。 通常一个阶段有若干个状态。 描述过程状态的变量称为状态变量，常用sk表示第k阶段的状态。 在实际问题中决策变量的取值往往在某一范围之内，此范围称为允许决策集合。常用Dk(sk)表示第k阶段从状态sk出发的允许决策集合，显然有 一个数 一组数 一个向量 决定下一阶段的状态，这种决定称为决策。 在最优控制中也称为控制。 描述决策的变量，称为决策变量。 决策变量是状态变量的函数。 常用uk(sk) 表示第k阶段当状态为 sk时的决策变量。 3. 决策和策略（Decision and Policy) 过程的某一阶段、 某个状态, 可以做出不同的决定(选择), uk(sk) ? Dk(sk) 由每段的决策按顺序排列组成的决策函数序列称为k子过程策略， 当k=1时，此决策函数序列成为全过程的一个策略，简称策略，记为p1,n (s1).即 可供选择的策略有一定范围，此范围称为允许策略集合，用p表示。从允许策略集合中找出达到最优效果的策略称为最优策略。 策略: 按顺序排列的决策组成的集合； 由第k n(终止状态)为止的过程，称为问题的后部子过程（k子过程）。 简称子策略，记为pk,n(sk)，即 系统在某一阶段的状态转移不但与系统的当前的状态和决策有关，而且还与系统过去的历史状态和决策有关。其状态转移方程如下（一般形式） 状态转移方程是确定过程由一个状态到另一个状态的演变过程。如果第k阶段状态变量sk的值、该阶段的决策变量一经确定，第k+1阶段状态变量sk+1的值也就确定。 4. 状态转移方程 可以在各个阶段进行决策，去控制过程发展的多段过程； 其发展是通过一系列的状态转移来实现的； 1 2 k ? s1 u1 s2 u2 s3 sk uk Sk+1 能用动态规划方法求解的多阶段决策过程是一类特殊的多阶段决策过程，即具有无后效性的多阶段决策过程。 图示如下： 它是定义在全过程或所有后部子过程上确定的数量函数。 动态规划模型的指标函数，应具有可分离性，并满足递推关系。 费用、成本、利润、路长等 。 用Vk, n 表示之。 5. 指标函数和最优值函数 用来衡量所实现过程优劣的一种数量指标，称为指标函数； 第k阶段 第n阶段 状态sk