第6章-动态规划PPT课件.ppt

第三部分 动态规划; 应用： 企业管理：动态规划可以用来解决最优路径问题、资源分配问题、生产调度问题、库存问题、装载问题、排序问题、设备更新问题、生产过程最优控制问题等等。;多阶段决策过程及实例 在生产和科学实验中，有一类活动的过程，由于它的特殊性，可将过程分为若干相互联系的阶段。在它的每一个阶段都需要作出决策，从而使整个过程达到最好的活动效果，因此，各个阶段决策的选取不是任意确定的，它依赖于当前面临的状态，又影响以后的发展，当各个阶段决策确定后，就组成了一个决策系列，因而也就确定了整个过程的一条活动路线，这种把一个问题可看作是一个前后关联具有链状结构的多阶段过程（如图1所示）就称为多阶段决策过程，也称序贯决策过程，这种问题就称为多阶段决策问题。;n; 多阶段决策问题很多，现举例如下： 例1：最短路问题 如图2，给定一个线路网络，两点之间连线上的数字表示两点间的距离（或费用），试求一条由A到G的铺管线路，使总距离为最短（或总费用最小）。;A;例2：机器负荷分配问题 某种机器可以在高低两种不同的负荷下进行生产。在高负荷下进行生产时，产品的年产量g和投入生产的机器数量u1的关系为; 这时，机器的年完好率为b，0b1 。 假定开始生产时完好的机器数量为s，要求制定一个五年计划，在每年开始时，决定如何重新分配完好的机器在两种不同的负荷下生产的数量，使在五年内产品的总产量达到最高？;§2 动态规划的基本概念;二、状态和状态变量 状态表示某一阶段初所处的位置或状况，通常一个阶段包含若干个状态，描述状态的变量称为状态变量。常用sk表示第k阶段的某一状态。所有状态变量组成的集合，称为状态变量集合。常用Sk表示第k阶段的状态变量集合。三、决策和决策变量 决策就是某阶段状态给定以后，从该状态演变到下一阶段某状态的选择。描述决策的变量，称为决策变量。常用xk（sk）表示第k阶段当状态处于sk时的决策变量，在实际问题中，决策变量的取值往往限制在某一范围内，此范围称为允许决策集合，??常用Dk（sK）表示第k阶段的允许决策集合，显然有：; ; 在实际过程中，可供选择的策略有一定的范围，此范围称为允许策略集合，用P表示，从允许策略集合中找出达到最优效果的策略称为最优策略。 五、状态转移方程 在多阶段决策过程中，第k阶段到第（k+1）阶段的演变规律，称为状态转移方程。当给定了第K阶段的状态变量sk和决策变量xk时，根据状态转移方程，第（k+1）阶段的状态Sk+1的值也随之而定。也就是说， sk+1将依某种函数关系与（sk,xk（sk））相对应，这种对应关系常记为：;;;一、动态规划方法的基本原理 动态规划方法的基本思想： 1．动态规划方法的关键在于正确地写出基本的递推关系式和恰当的边界条件（简言之为基本方程），要做到这一点，必须先将问题的过程分成几个相互联系的阶段，恰当的选取状态变量和决策变量及定义最优值函数，从而把一个大问题化成一族同类型的子问题，然后逐个求解，即从边界条件开始，逐段递推寻优，在每一个子问题的求解中，均利用了它前面的子问题的最优化结果，依次进行，最后一个子问题所得的最优解，就是整个问题的最优解。;2．在多阶段决策过程中，动态规划方法是既把前一段和未来各段分开，又把当前效益和未来效益结合起来考虑的一种最优化方法。因此，每段决策的选取是从全局来考虑的，与该段的最优选择答案一般是不同的。 3．在求整个问题的最优策略时，由于初始状态是已知的，而每段的决策都是该段状态的函数，故最优策略所经过的各段状态便可逐次变换得到，从而确定了最优路线。 二、动态规划的基本方程 动态规划函数基本方程的一般形式为：;其中“opt”是最优化的意思，视具体的问题可能是求“max”，也可能是求“min”。动态规划最优化原理：“作为整个过程的最优策略具有这样的性质：即无论过去的状态和决策如何，对前面的决策所形成的状态而言，余下的诸决策必须构成最优策略。”;4．建立状态转移方程。 写出状态转移方法： 的具体形式 5．确定指标函数 6．建立动态规划基本方程;四、最短路问题的标号法 具体步骤： 1．给终点标号0。 2．再标离终点最近的一段，将距离数字分别写在该点上方的方格内。 3．在标下一段时，正要标号的某点到该段已标号的各点的各段长，分别加上已标号点的数字而取其中最小者，就是某点到终点的最短距离，将距离数字填入某点上方方格内，并且直线连接起来表示某点到终点的最短路线。 4．继续按逆推过程一直计算到起点（初始点），该点标的数即为起点到终点的最短距离。 此解法称为逆序解法，也