动态规划模型.ppt.ppt

* A B1 B2 C1 C4 C3 C2 D1 D3 D2 5 3 1 3 6 8 7 6 6 8 3 5 3 3 8 4 2 2 1 2 3 3 F1 F2 G 4 3 E2 E3 E1 3 5 3 5 6 6 动态规划的基本方法 动态规划： 解决多阶段决策过程最优化的一种数学方法 多阶段决策： 把整个决策过程分为若干个相互联系的阶段，在它 的每个阶段都要作出决策，从而使整个过程的决策最佳。 例1 最短路问题 A B1 B2 C1 C4 C3 C2 D1 D3 D2 5 3 1 3 6 8 7 6 6 8 3 5 3 3 8 4 2 2 1 2 3 3 F1 F2 G 4 3 E2 E3 E1 3 5 5 2 6 6 给定一线路网络，两点之间连线上的数字表示两点的距离（或费用），试求一条由A到G的铺管线，使总距离为最短（或总费用最小）。 一、基本概念 阶段： 把所给问题的过程，恰当地分为若干个相互联系的阶段。 1 2 3 4 5 6 A B1 B2 C1 C4 C3 C2 D1 D3 D2 5 3 1 3 6 8 7 6 6 8 3 5 3 3 8 4 2 2 1 2 3 3 F1 F2 G 4 3 E2 E3 E1 3 5 5 2 6 6 状态： 表示每个阶段开始所处的自然状况或客观条件，它描述了研究问题过程的状况，又称不可控因素。 1 2 3 4 6 5 第一阶段： {A} 第二阶段： {B1,B2} 第三阶段： {C1,C2,C3,C4} 第四阶段： {D1,D2,D3} 第五阶段： {E1,E2,E3,} 第六阶段： {F1,F2} 状态变量 描述过程状态的变量 S1= S2= S3= S4= S5= S6= S3={1,2,3,4} 状态变量可用一个数、数组或向量表示，常用sk表示第k阶段状态变量 可达状态 状态的无后效性 某阶段状态给定后，则在这阶段以后的发展不受这阶段以前各阶段状态影响 用Sk表示可达状态集 决策： A B1 B2 C1 C4 C3 C2 D1 D3 D2 5 3 1 3 6 8 7 6 6 8 3 5 3 3 8 4 2 2 1 2 3 3 F1 F2 G 4 3 E2 E3 E1 3 5 5 2 6 6 1 2 3 4 6 5 当过程处于某阶段的某状态时，可以做出不同的决定，这种决定称为决策。 决策变量 描述决策的变量，它可以用一个数、一数组或一向量来描述。 用uk(sk)表示第k阶段处于sk状态时的决策。它是状态变量的函数。 允许决策集合 决策变量的取值范围 B1 {C1,C2,C3} 允许决策集合 C2 u2(B1)=C2 策略： 按顺序排列的决策的集合 子策略： 由每段的决策按顺序排列组成的决策函数序列{uk(sk), …,un(sn)} 决策 记 Pk,n(sk)={uk(sk),uk+1(sk+1), …,un(sn)} k=1时，此决策函数序列称为全过程的一个策略，记为p1,n(s1)。即 p1,n(s1)={u1(s1),u2(s2), …,un(sn)} 允许策略集合 可供选择策略的范围，用P表示 最优策略 从允许策略集合中找出达到最优效果的策略 状态转移方程： 确定过程由一个状态到另一状态的演变过程 已知第k阶段状态变量sk的值，如果该阶段的决策变量uk一经确定，那么第k+1阶段的状态变量sk+1的值也就完全确定。 sk+1=Tk(sk,uk) 状态转移方程 例1中，状态转移方程为：sk+1=uk(sk) 指标函数和最优值函数： 用来衡量所实现过程优劣的一种数量指标，用Vk,n表示 指标函数： Vk,n=Vk,n(sk,uk,sk+1, …,sn+1) k=1,2, …,n 指标函数的可分离性： Vk,n(sk,uk,sk+1, …,sn+1)=Vk[sk,uk,Vk+1,n(sk+1,uk+1, …,sn+1)] 常见指标函数： 1.过程和它的任一子过程的指标是它所包含的各阶段的指标的和 2.过程和它的任一子过程的指标是它所包含的各阶段的指标的乘积 最优值函数： 说明： 1.指标函数的含义可能是距离、利润、成本等。 2.在最短线路中， dj(sj,uj) =vj(sj,uj)表示由sj到 sj+1=uj(sj)的距离 3.Vk,n表示在第k阶段由点sk至终点G的距离 4.fk(s,k)表示从第k阶段点sk到终点G的最短距离 二、动态规划的基本方法