多阶段决策问题与动态规划 .pptx

4 动态规划; 例2 机器负荷分配问题 某种机器可以在高低两种不同的负荷下进行生产．在高负荷下进行生产时，产品的年产量g和投入生产的机器数量u的关系为 g＝g(u), 这时机器的年完好率为a（0a1)．在低负荷下生产时，产品的年产量h和投入生产的机器数量v的关系为h＝h(v), 这时机器的年完好率为b（ab1）．假定开始生产时完好的机器数量为s1，要求制定一个五年计划,在每年开始时决定机器在两种不同负荷下生产的数量,使五年内产品的总产量最高。; 多阶段决策问题和我们前面遇到的决策??题不同，它是和时间有关的。与时间有关的活动过程称为动态过程，其优化方法称为动态规划。而与时间无关的活动过程称为静态过程，相应的的优化方法称为静态规划。; (1)阶段（stage）把所研究的决策问题，按先后顺序划分为若干相互联系的决策步骤，以便按一定的次序进行求解。描述阶段的变量称阶段变量，常用k表示。; (4)策略（policy）把从第一阶段开始到最后阶段终止的整个决策过程，称为问题的全过程；而把从第k阶段开始到最后阶段终止的决策过程，或称为k子过程。在全过程上，各阶段的决策按顺序排列组成的决策序列p1,n＝{ u1,u2,……,un }称为全过程策略，简称策略；而在k子过程上的决策序列pk,n＝{ uk,uk+1,……,un }称为k子过程策略，也简称子策略。;4.2 动态规划的基本概念（二）; (7)基本方程 通常动态规划问题的最优值函数满足递推关系式。设过程指标函数为各阶段指标函数的和的形式，即Vk,n＝∑vj(sj,uj)，则有 fk(sk)＝ opt {vk(sk,uk)+fk+1(sk+1)} uk∈Dk(sk) (k＝n,n-1,…,1) 递推方程 fn+1(sn+1)＝0 边界条件 递推方程和边界条件一起称为动态规划的基本方程。 可根据边界条件，从k=n开始，由后向前逆推，逐步求得各阶段的最优决策和相应的最优值，最后求出f1(s1)时，就得到整个问题的最优解。;此问题的基本方程为 fk(sk)＝Min{dk(uk)+fk+1(sk+1)} uk∈Dk(sk) k＝6,5,4,3,2,1 f7(s7)＝0;按基本方程由后向前继续递推有:;当k=3时;现在把动态规划法的步骤归纳如下： (1) 将所研究问题的过程划分为n个恰当的阶段， k＝ 1,2,…,n； (2) 正确地选择状态变量Sk，并确定初始状态S1的值； (3) 确定决策变量uk以及各阶段的允许决策集Dk(Sk)； (4) 给出状态转移方程； (5) 给出满足要求的过程指标函数Vk,n及相应的最优 值函数； (6) 写出递推方程和边界条件，建立基本方程； (7) 按照基本方程递推求解。 以上步骤是动态规划法处理问题的基本步骤，其中的前六步是建立动态规划模型的步骤。;例：机器负荷问题 某种机器可以在高低两种不同的负荷下进行生产．在高负荷下进行生产时，产品的年产量g和投入生产的机器数量u的关系为 g＝8u, 这时机器的年完好率为a=0.7．在低负荷下生产时，产品的年产量h和投入生产的机器数量v的关系为h＝5v, 这时机器的年完好率为b=0.9．假定开始生产时完好的机器数量为s1，要求制定一个五年计划,在每年开始时决定机器在两种不同负荷下生产的数量,使五年内产品的总产量最高。;(1)按年数划分为5个阶段，k=1,2,3,4,5;当k=4时; 某些静态规划问题可用动态规划法来求解。; 资源分配问题可描述如下：设有某种原料，总数量为a，分配给n个使用者。已知第i个使用者得到数量xi的资源，可创造的收益为gi（xi）。问应如何分配该资源，才能使总收益最大。; 例 某工业部门根据国家计划安排，拟将五台某种高效率的机器分配给所属的甲、乙、丙三个工厂，各工厂得到不同数量的机器可获得的收益如下表。问应如何分配机器，才能使各厂的总效益最大。; 某单位准备在以后的n个时期内采购一批物资。各时期的价格不是确定的，而是按照某种已知的概率分布取值。试制定采购策略，确定在哪一时期以什么价格采购，能使采购价的数学期望值最低。这类问题也适合用动态规划法进行处理。下面通过实例加以说明。; 设有n个工件需要在机床A、B上加工，每个工件都必须先经过A而后B两道加工工序。以ai、bi分别表示工件i(1≤i≤n)在A、B上的加工时间。问应如何在两机床上安排各工件的加工顺序，使在机床A上加工第一个工件开始到在机床B上加工完最后一个工件为止，所用的加工总时间最少？; 用动