【精选】第九章动态规划.pptVIP

* * 第九章 动态规划 9.1 多阶段决策问题与动态规划 9.2 动态规划的基本概念 9.3 动态规划的步骤 9.4 动态规划的应用 例2 机器负荷分配问题 某种机器可以在高低两种不同的负荷下进行生产．在高负荷下进行生产时，产品的年产量g和投入生产的机器数量u的关系为 g＝g(u), 这时机器的年完好率为a（0a1)．在低负荷下生产时，产品的年产量h和投入生产的机器数量v的关系为h＝h(v), 这时机器的年完好率为b（ab1）．假定开始生产时完好的机器数量为s1，要求制定一个五年计划,在每年开始时决定机器在两种不同负荷下生产的数量,使五年内产品的总产量最高。 9.1 多阶段决策问题与动态规划 多阶段决策问题和我们前面遇到的决策问题不同，它是和时间有关的。与时间有关的活动过程称为动态过程，其优化方法称为动态规划。而与时间无关的活动过程称为静态过程，相应的的优化方法称为静态规划。 (1)阶段（stage）把所研究的决策问题，按先后顺序划分为若干相互联系的决策步骤，以便按一定的次序进行求解。描述阶段的变量称阶段变量，常用k表示。 (2)状态（state）状态表示每个阶段开始时所处的自然状况或客观条件，它描述了影响决策的因素随决策进程的变化情况，它既是前面阶段所作决策的结果，又是本阶段作出决策的出发点和依据。描述状态的变量称为状态变量，第k阶段的状态变量常用sk表示。通常，在第一阶段状态变量s1是确定的，称初始状态。第k阶段所有可能的状态构成的集合称为该阶段的状态集，记为Sk 9.2 动态规划的基本概念 动态规划所要求的过程指标函数应具有可分离性， 即可表达为它所包含的各阶段指标函数的函数形式。 常见的两种过程指标函数形式是： ①各阶段指标函数的和 Vk,n＝∑vj(sj,uj)； ②各阶段指标函数的积 Vk,n＝∏vj(sj,uj)。 把过程指标函数Vk,n对k子过程策略pk,n求最优，得到一个关于状态sk的函数，称为最优值函数，记为fk (sk)。 即 fk(sk)＝ opt Vk,n(sk,uk,……,sn,un) uk,…,un 式中的“opt”（optimization）可根据具体问题而取min或max。 A B1 B2 C1 C2 C3 C4 D1 D2 D3 E1 E2 E3 F1 F2 G 5 3 1 3 6 8 7 6 6 8 3 5 3 3 8 4 2 2 1 2 3 3 3 5 5 2 6 6 4 3 (7)基本方程 通常动态规划问题的最优值函数满足递推关系式。 设过程指标函数为各阶段指标函数的和的形式，即 Vk,n＝∑vj(sj,uj)，则有 fk(sk)＝ opt {vk(sk,uk)+fk+1(sk+1)} uk∈Dk(sk) (k＝n,n-1,…,1) 递推方程 fn+1(sn+1)＝0 边界条件 递推方程和边界条件一起称为动态规划的基本方程。 可根据边界条件，从k=n开始，由后向前逆推，逐步求得各阶段的最优决策和相应的最优值，最后求出f1(s1)时，就得到整个问题的最优解。 9.3 动态规划的步骤 当k=6时 按基本方程由后向前继续递推有: 当k=5时 当k=4时