5.2动态规划的元基本概念和基本方程.pptVIP

* * §5.2 动态规划的基本概念和基本方程 (一)基本概念 (1)阶段：k (2)状态变量：Sk (3)决策变量： uk(Sk) (4)策略 (5)状态转移方程： Sk＋1 ＝T (Sk ， uk) (6)指标函数： Vk，n (Sk) (7)最优指标函数： fk (Sk) (二)前例1 (1)阶段：k＝1，2，…，6 n=6 (2)状态变量：Sk－第k阶段所处的位置 状态集合 如S2 : (B1 , B2) (3)决策变量uk ：在第k段Sk状态时决定选 取的下一段的某点 (4)状态转移方程 ：Sk＋1 ＝uk (6)阶段效益： d(Sk ，uk)为第k段，采取策略uk 到下一状 态的距离 (5)最优指标函数： fk (Sk)：第k段，在Sk状态时到终点G的最 短距离 例1 最短路径问题 A B1 B2 C1 C2 C3 C4 D1 D2 D3 E1 E2 E3 F1 F2 G 5 3 1 3 6 8 7 6 6 5 8 3 3 3 8 4 2 2 2 1 3 3 3 5 5 2 6 6 4 3 k＝6， f6(F1)＝4 f6(F2)＝3 k＝5 d(E1 ,F1) +f6(F1) f5(E1)＝min d(E1 ,F2) +f6(F2) 3+4 ＝min =7 u5(E1)= F1 5+3 同理 f5(E2)＝5 u5(E2)＝ F2 f5(E3)＝9 u5(E3)＝ F2 k＝4 d(D1 ,E1) +f5(E1) f4(D1)＝min d(D1 ,E2) +f5(E2) 2+7 ＝min =7 u4(D1)= E2 2+5 同理 f4(D2)＝6 u4(D2)＝ E2 f4(D3)＝8 u4(D3)＝ E2 K=3 … … k＝1 d(A ,B1) +f2(B1) f1(A)＝min d(A ,B2) +f2(B2) 5+13 ＝min =18 u1(A)= B1 3+16 (三)基本方程 fk(Sk)＝min{d(Sk , uk)+ fk+1(Sk+1)} k=6, …1 f7(S7)＝0 或 fk(Sk)＝min{d(Sk , uk)+ fk+1(Sk+1)} k=5, …1 f6(S6)＝ min{d(S6 , u6)} 例2 已知某种完好的机器1000台， 高负荷时 S1=8y1 a=0.7 低负荷时 S2=5y2 b=0.9 问：每年初应如何安排分配机器， 可使得5年总收益最大？ 解 (1)阶段：k=1,2,3,4,5 n=5 (2)状态变量Sk ：第k年初始的完好设备数 (3)决策变量uk：第k年初始分到高负荷下 的机器数 Sk- uk：第k年初始分到低负荷下 的机器数 (4)状态转移方程： Sk＋1 ＝0.7 uk+0.9(Sk - uk)= 0.9Sk - 0.2 uk (5)最优指标函数： fk (Sk)—从第k-5年末采取最优策略的最大收益 (6)一年收益： d(Sk , uk)=8uk+5(Sk - uk)= 3uk +5Sk 基本方程 fk(Sk)＝max{d(Sk uk)+ fk+1(Sk+1)} k=5, …1 f6(S6)＝0 uk 即 fk(Sk)＝max{(3uk+5Sk)+ fk+1(