第三章节动态规划(资liao).pptVIP

第三章 动态规划 3.1 动态规划的基本概念 基本概念 最优化原理 3.2 动态规划建模案例 资源分配问题 生产存储问题 一、基本概念与名词解释 例3-1 某公司欲将一批货物从城市A运到城市E去，如图所示，走哪条路线最短？ 例3-1 某公司欲将一批货物从城市A运到城市E去，如图所示，走哪条路线最短？ 名词解释 阶段，把问题分解为若干相互联系的阶段，用k表示，一般可以按照时间或者空间的自然特征来划分。 状态，表示每个阶段开始所处的自然状况或客观条件，通常一个阶段有若干个状态，一般第k阶段状态就是该阶段所有始点集合。 状态变量，描述状态的变量，Sk表示。 决策,根据各阶段起始状态，与下阶段状态的联系情况，选择下一阶段的状态，这种选择即为决策。通常用uk(sk) 表示在k阶段起始状态为sk时的决策。 允许决策集合，决策值往往限制在某一范围，用DK(SK)表示K阶段状态SK出发的允许决策集合。 策略：一个按顺序排列的决策组成的集合。 子策略：由每段决策按顺序排列组成的决策函数序列{uk(sk),…,un(sn)}，写为：pk,n(sk) 状态转移及其方程：给定了第k阶段的起始状态与决策变量uk(sk),则能确定第k+1阶段的状态，这种关系用 表示。反映了由k到k+1阶段状态转移的规律，称为状态转移方程。 状态转移方程例 K阶段始有d元钱，该阶段化费x元，则下一阶段初的钱数：＝d-x K阶段始有d元钱，该阶段能挣到x元，化费m元，则下一阶段初的钱数：＝d＋x－m 指标函数:评价决策结果的数量指标，衡量实现过程优劣，用 表示。 最优值函数：fk(sk)，表示在第k阶段，状态为sk，采用最优策略pk,n到终止阶段n的指标最优值。 二、最优化原理与动态规划基本方法 Bellman原理 对于一个全程最优化策略，其任一k后部子过程的策略也最优。 Bellman原理示意图 求解例3-2 动态规划的基本方程： F4(D1)=4;F4(D2)=3 F3(C1)=7;F3(C2)=5;F3(C3)=5 F2(B1)=9;F2(B2)=11;F2(B3)=13 F1(A)=13 选择从A线到B线的最小费用路线，图中数字表示相应点的费用。 计算从A到J的最短路线及长度 第二节 动态规划建模应用案例 1）正确划分阶段。列出每阶段所有可能的状态变量。 2）对每一个状态确定可能的决策。 3）对每一对状态变量和决策，计算本阶段的指标值。 4）利用状态转移方程，对每一对状态变量和决策，计算下一状态值。 5）计算 6）比较各指标值，取最优者。 一、定价问题 某公司考虑为某新产品定价，该产品的单价拟从每件5元、6元、7元和8元这四个中选取一个，年初定价，每年允许价格有1元幅度的变动，该产品预计畅销五年，之后被淘汰，据预测不同价格下各年的利润如表所示。问题：该产品五年内如何定价？ 每年预计利润额 建立数学模型 按年划分阶段，k=1,2,...,5 每阶段的状态变量为本年(上一年已确定)的价格，状态变量的可行集合Sk=(5,6,7,8)。 决策变量为每年依据当年价格为下一年度决定价格，根据题意决策变量的可行集合是： 状态转移方程是 最优值函数递推方程为 进行各阶段计算 设 当k=5时，S5=(5,6,7,8)， 当k=4时， S4=(5,6,7,8)，由递推方程 得 决策图 继续求解 同理得其它各阶段的最优解 反推得最优路线 按照与求最优值函数方向相反的顺序求最优状态路线：最优决策变量。即从第一年单价应为8元开始，向后推算。 得第二年定价8元，第三年定价7元，第四年定价6元，第五年定价5元。 最大利润值为92万元。 设有某种原料，总数量为a，用于生产n种产品。分配数量xi用于生产第i种产品，其收益为gi(xi)，问应如何分配，才能使生产n种产品总收入最大？ 对策： 阶段划分：把资源分配给一个使用者的过程作为一个阶段。 状态变量sk表示分配用于生产第k种产品到第n种产品的原料总数量。 决策变量：分配给生产第k种产品的原料数。uk＝xk； 状态转移方程：sk+1=sk-uk=sk-xk 递推关系： 某公司将5台加工中心分配给甲、乙、丙、丁四个工厂，各工厂获得设备后可产生如表所示的利润，应怎么分配设备可使公司总利润最大？ 建立数学模型 按工厂次序划分阶段，k=1，2，3，4 状态变量为各阶段可用于分配的设备总台数 决策变量是分配给第k工厂的设备数 状态转移方程 最优值函数递推方程 第4阶段的最优解 当k=4时，S4=(0,1,2,3,4,5) 第3阶段的最