第二节 最优化原理及动态规划.pptVIP

3.动态规划方法就是从终点逐段向始点方向寻找最短路线的方法。解题步骤如下： ●把问题划分为几个阶段。 ●按阶段顺序首先考虑最后阶段如第四阶段的最优决策，也就是走哪条路线最短。 ●按阶段顺序依次考虑第三、第二，第一阶段的最优决策，为此只需确定每一阶段上各初始点的最优决策即可。 ◆用动态规划方法逐段求解时，每个阶段上的求优方法基本相同，而且比较简单，每一阶段的计算都要利用上一阶段的计算结果，因而减少了很多计算量。阶段数愈多，这种效果愈明显。 * 2010年5月 管理工程学院 《运筹学》 * * 第二节 最优化原理与动态规划的数学模型 ◆理解动态规划的基本概念和基本原理 一、动态规划方法导引 1.全枚举法或穷举法。共有18条可能路线，进行比较，求得最优路线Q→ A3→ B1→ C1→T。 Q T A1 A2 A3 B1 B2 B3 C1 C2 2 4 3 7 4 6 4 2 4 4 2 5 1 4 6 3 3 3 3 4 2.“局部最优路径”法：选择当前最短途径，“逢近便走”。 所取决策必是Q→ A1→ B2→ C2→T，全程长度是13。 Q T A1 A2 A3 B1 B2 B3 C1 C2 2 4 3 7 4 6 4 2 4 4 2 5 1 4 6 3 3 3 3 4 ◆全枚举法计算工作量将会十分庞大。 ◆局部最优求出的解不一定是最优解。 二、动态规划解题 标号法： 最短路径：Q→ A3→ B1→ C1→T Q T A1 A2 A3 B1 B2 B3 C1 C2 2 4 3 7 4 6 4 2 4 4 2 5 1 4 6 3 3 3 3 4 阶段1 阶段2 阶段3 阶段4 0，T 3,T 4,T 4,C1 7,C2 6,C1 11,B1 ,B2 8,B1 8,B1 11,A3 三、动态规划的基本概念。 1.阶段(stage)和阶段变量。 把所给问题恰当地划分为若干个相互联系又有区别的子问题，称之为多段决策问题的阶段。 Q T A1 A2 A3 B1 B2 B3 C1 C2 2 4 3 7 4 6 4 2 4 4 2 5 1 4 6 3 3 3 3 4 用以描述阶段的变量叫作阶段变量，一般以k表示阶段量． 阶段数k的编号法有两种： (1)顺序编号；(2)逆序编号法。 Q T A1 A2 A3 B1 B2 B3 C1 C2 2 4 3 7 4 6 4 2 4 4 2 5 1 4 6 3 3 3 3 4 2.状态(state)、状态变量和可能状态集 (1)状态与状态变量。 Q T A1 A2 A3 B1 B2 B3 C1 C2 2 4 3 7 4 6 4 2 4 4 2 5 1 4 6 3 3 3 3 4 (2)动态规划维数。 (3)可能状态集：用S(sk)表示。 Q T A1 A2 A3 B1 B2 B3 C1 C2 2 4 3 7 4 6 4 2 4 4 2 5 1 4 6 3 3 3 3 4 3.决策(decision)、决策变量和允许决策集合 (1)决策。 Q T A1 A2 A3 B1 B2 B3 C1 C2 2 4 3 7 4 6 4 2 4 4 2 5 1 4 6 3 3 3 3 4 (2)决策变量:xk=xk(sk) 决策变量xk(sk)的允许决策集用Dk(sk)表示, xk(sk)∈Dk(sk)允许决策集合实际是决策的约束条件。 Q T A1 A2 A3 B1 B2 B3 C1 C2 2 4 3 7 4 6 4 2 4 4 2 5 1 4 6 3 3 3 3 4 4.策略和允许策略集合策略(Policy) 全过程策略指具有n个阶段全部过程，简称策略。表示为 {x1(s1),x2(s1),…,xn(sn)}。 k后部子过程策略,表示为pk(xk) Q T A1 A2 A3 B1 B2 B3 C1 C2 2 4 3 7 4 6 4 2 4 4 2 5 1 4 6 3 3 3 3 4 (2)允许策略集合记作P。 最优策略:从允许策略集中，找出的具有最优效果的策略。 Q T A1 A2 A3 B1 B2 B3 C1 C2 2 4 3 7 4 6 4 2 4 4 2 5 1 4 6 3 3 3 3 4 5.状态转移方程(状态转移律) ：多阶段决策过程的发展就是用阶段状态的相继演变来描述的。 或简写为 6.指标函数 (1)阶段指标函数(也称阶段收益) vk(sk,xk) 简记为vk 。 (2)过程指标函数(指标函数)。 Vk,n(sk,xk,