动态规划简介.PPT

逆推解法 设已知初始状态为s1,并假定最优值函数fk(sk)表示第k阶段的初始状态为sk，从k阶段到n阶段所得到的最大效益。 从第n阶段开始，则有: ) , ( max ) ( ) ( n n n s D x n n x s v s f n n n ? = 解该问题，得到最优解xn= xn (sn)和最优值fn (sn) 。 在第n阶段，有 )] ( ) , ( [ max ) ( 1 1 1 ) ( 1 1 1 1 n n n n n s D x n n s f x s v s f n n n * = - - - ? - - - - 在第k阶段，有 )] ( ) , ( [ max ) ( 1 1 ) ( 1 + + ? * = k k k k k s D x k k s f x s v s f k k k 如此类推，直到第一阶段有 )] ( ) , ( [ max ) ( 2 2 1 1 1 ) ( 1 1 1 1 1 s f x s v s f s D x * = ? 由于初始状态s1已知,故x1= x1(s1)和f1 (s1)是确定的，从而s2= T1(s1, x1)也就可以确定，于是x2= x2(s2)和f2(s2) 也可确定。按照上述递推过程相反的顺序推算，就可逐步确定每阶段的决策和效益。 逆推解法 例6-3:用逆推法求解下面问题。 0 , , max 3 2 1 3 2 1 3 2 2 1 3 = + + = x x x c x x x x x x z 按照变量个数划分阶段，该问题是一个三阶段决策问题。 状态变量为s1,s2,s3,且s1=c 决策变量即为问题中的变量x1,x2,x3 各阶段指标函数按乘积方式 最优值函数fk(sk)表示从第k阶段初始状态sk 到第3阶段所得最大值。 设s1=c， s2+x1 =s1, s3+x2 =s2 , s3=x3 则有x3=s3，0≤x2 ≤s2， 0≤x1 ≤s1 顺推解法 设已知终止状态为sn+1,并假定最优值函数fk(sk)表示第k阶段末的结束状态为sk，从1阶段到k n阶段所得到的最大效益。 从第1阶段开始，则有: ) , ( max ) ( ) ( 1 1 1 s D x 1 1 x s v s f 1 1 1 ? = 解该问题，得到最优解x1= x1 (s2)和最优值f1 (s2) 。 在第n阶段，有 )] ( ) , ( [ max ) ( ) ( 1 n n-1 n n n s D x n n s f x s v s f n n n * = ? + 由于终止状态sn+1已知,故xn= xn (sn+1)和最优值fn (sn+1)是确定的，按照上述递推过程相反的顺序推算，就可逐步确定每阶段的决策和效益。 得到最优解xn= xn (sn+1)和最优值fn (sn+1) 。 例6-4:用顺推法求解下面问题。 0 , , max 3 2 1 3 2 1 3 2 2 1 3 = + + = x x x c x x x x x x z 最优值函数fk(sk+1)表示从第k阶段末的结束状态sk+1，从第1阶段到k阶段所得最大值。 设 s2 =x1, s3+x2 =s3 , s3+x3= s4=c 则有x1=s2，0≤x2 ≤s3， 0≤x3 ≤s4 顺推解法 资源分配问题(离散型) 例6-5:设有6万元资金用于4个工厂的扩建，已知每个工厂的利润增长额同投资额的大小有关，见下表。问应如何确定对这四个工厂的投资额，使总利润增长额最大？ 投资额 (j) 工厂(i) 0 100 200 300 400 500 600 1 0 20 42 60 75 85 90 2 0 25 45 57 65 70 73 3 0 18 39 61 78 90 95 4 0 28 47 65 74 80 85 表1 利润增长额gi(xj) 单位:百元 资源分配问题(离散型) 解:把对四个工厂的投资依次看成4个阶段的决策过程，确定对第k个工厂的投资额看成第k个阶段的决策，k=1,2,3,4。 工厂1 工厂2 工厂3 工厂4 投资x1 投资x2 投资x3 投资x4 状态s2 状态变量sk :可用于第k, k+1,…n个工厂的投资额。 决策变量xk :第 k 阶段对第 k 个工厂的投资额。 允许决策集Dk:{100,200, … , sk} 状态转移方程: sk+1 = sk - xk ， s1=600 阶段指标函数 gk :第 k 阶段投资xk元时所产生的利润。 最优指标函数 fk