最优化原理与动态规划.pptVIP

3.动态规划方法就是从终点逐段向始点方向寻找最短路线的方法。解题步骤如下： ●把问题划分为几个阶段。 ●按阶段顺序首先考虑最后阶段如第四阶段的最优决策，也就是走哪条路线最短。 ●按阶段顺序依次考虑第三、第二，第一阶段的最优决策，为此只需确定每一阶段上各初始点的最优决策即可。 ◆用动态规划方法逐段求解时，每个阶段上的求优方法基本相同，而且比较简单，每一阶段的计算都要利用上一阶段的计算结果，因而减少了很多计算量。阶段数愈多，这种效果愈明显。 * * 第二节 最优化原理与动态规划的数学模型 ◆理解动态规划的基本概念和基本原理 一、动态规划方法导引 1.全枚举法或穷举法。共有18条可能路线，进行比较，求得最优路线Q→ A3→ B1→ C1→T。 Q T A1 A2 A3 B1 B2 B3 C1 C2 2 4 3 7 4 6 4 2 4 4 2 5 1 4 6 3 3 3 3 4 2.“局部最优路径”法：选择当前最短途径，“逢近便走”。 所取决策必是Q→ A1→ B2→ C2→T，全程长度是13。 Q T A1 A2 A3 B1 B2 B3 C1 C2 2 4 3 7 4 6 4 2 4 4 2 5 1 4 6 3 3 3 3 4 ◆全枚举法计算工作量将会十分庞大。 ◆局部最优求出的解不一定是最优解。 二、动态规划解题 标号法： 最短路径：Q→ A3→ B1→ C1→T Q T A1 A2 A3 B1 B2 B3 C1 C2 2 4 3 7 4 6 4 2 4 4 2 5 1 4 6 3 3 3 3 4 阶段1 阶段2 阶段3 阶段4 0，T 3,T 4,T 4,C1 7,C2 6,C1 11,B1 ,B2 8,B1 8,B1 11,A3 三、动态规划的基本概念。 1.阶段(stage)和阶段变量。 把所给问题恰当地划分为若干个相互联系又有区别的子问题，称之为多段决策问题的阶段。 Q T A1 A2 A3 B1 B2 B3 C1 C2 2 4 3 7 4 6 4 2 4 4 2 5 1 4 6 3 3 3 3 4 用以描述阶段的变量叫作阶段变量，一般以k表示阶段量． 阶段数k的编号法有两种： (1)顺序编号；(2)逆序编号法。 Q T A1 A2 A3 B1 B2 B3 C1 C2 2 4 3 7 4 6 4 2 4 4 2 5 1 4 6 3 3 3 3 4 2.状态(state)、状态变量和可能状态集 (1)状态与状态变量。表示每个阶段开始所处的自然状况或客观条件。 Q T A1 A2 A3 B1 B2 B3 C1 C2 2 4 3 7 4 6 4 2 4 4 2 5 1 4 6 3 3 3 3 4 (2)动态规划维数。 (3)可能状态集：用S(sk)表示。 Q T A1 A2 A3 B1 B2 B3 C1 C2 2 4 3 7 4 6 4 2 4 4 2 5 1 4 6 3 3 3 3 4 3.决策(decision)、决策变量和允许决策集合 (1)决策。表示当过程处于某一阶段的某个状态，可以作出不同的决定（选择），从而确定下一阶段的状态。 Q T A1 A2 A3 B1 B2 B3 C1 C2 2 4 3 7 4 6 4 2 4 4 2 5 1 4 6 3 3 3 3 4 (2)决策变量:xk=xk(sk) 决策变量xk(sk)的允许决策集用Dk(sk)表示, xk(sk)∈Dk(sk)允许决策集合实际是决策的约束条件。 Q T A1 A2 A3 B1 B2 B3 C1 C2 2 4 3 7 4 6 4 2 4 4 2 5 1 4 6 3 3 3 3 4 4.策略和子策略(Policy) （1）全过程策略指具有n个阶段全部过程，简称策略。表示为 {x1(s1),x2(s1),…,xn(sn)}。 k后部子过程策略,表示为pk(xk) Q T A1 A2 A3 B1 B2 B3 C1 C2 2 4 3 7 4 6 4 2 4 4 2 5 1 4 6 3 3 3 3 4 (2)允许策略集合记作P。 最优策略:从允许策略集中，找出的具有最优效果的策略。 Q T A1 A2 A3 B1 B2 B3 C1 C2 2 4 3 7 4 6 4 2 4 4 2 5 1 4 6 3 3 3 3 4 5.状态转移方程(状态转移律) ：多阶段决策过程的发展就是用阶段状态的相继演变来描述的。 或简写为 从上阶段的某一状态值到下阶段某一状态值的转移规律成为状态转移律