运筹学与最优化MATLAB编程第2章.pptxVIP

第2章　基本概念和基本理论2.1　基本概念2.2　经典优化算法2.3　启发式算法2.4　全局最优与计算复杂性2.5　计算误差理论2.1　基本概念(1) 若?x∈S，恒有f(x*)≤f(x)，则称x*是问题(fs)的全局最优解，记为g.opt.(global optimum)或opt.。(2)若存在x*的邻域N(x*)，使得?x∈S∩N(x*)恒有f(x*)≤f(x)，则称x*是问题(fS)的局部最优解，记为l.opt.(local optimum)；若当x≠x*时，严格不等式f(x*)f(x)成立，则称x*是问题(fs)的严格局部最优解。2.2　经典优化算法2.2.1　线性最优化2.2.2　非线性最优化2.2.1　线性最优化线性最优化又称线性规划，是运筹学中应用最广泛的一个分支。这是因为自然科学和社会科学中许多问题都可以近似转化成线性规划问题。2.2.2　非线性最优化非线性规划的一个重要理论是1951年提出的Kuhn-Tucker最优条件(简称K-T条件)，此后的50年代主要是对梯度法和牛顿法的研究。以Davidon(1959)，Fletcher和Powell(1963)提出的DFP方法为起点， 60～80年代是研究拟牛顿方法的活跃时期， 同时对共轭梯度法也有较好的研究。2.3　启发式算法(1)遗传算法：是根据生物演化，模拟演化过程中基因染色体的选择、交叉和变异得到的算法。(2)模拟退火：模拟统计物理中固体物质的结晶过程。(3)神经网络：模拟大脑神经处理事务，通过各个神经元的竞争和协作，实现选择和变异的过程。(4)禁忌搜索：模拟人的经验，通过禁忌表记忆最近搜索过程中的历史信息，禁忌某些解，以避免走回头路，达到跳出局部最优解的目的。(5)蚂蚁算法：模拟蚂蚁的行为，向蚂蚁的协作方式学习。2.4　全局最优与计算复杂性表2-1　几个多项式和指数的时间复杂性函数的对比表2.5　计算误差理论2.5.1　误差产生的原因和形式2.5.2　误差处理的几种方法2.5.3　病态函数的判别2.5.4　算法的稳定性2.5.1　误差产生的原因和形式1.截断误差2.舍入误差1.截断误差算法的实现是从连续系统到离散系统的一个转变过程。许多数学运算(如微分、积分与无穷级数求和等)是通过极限过程来定义的，而实际上计算机只能完成有限次的算术与逻辑运算。因此，在实际计算过程中，还需将解题方案加工成算术运算和符号运算的有限序列，而这种加工往往又表现为某无限过程的一个“截断”。2.舍入误差当计算机执行算法时，由于受计算机的有效数字位数的限制，参加运算的数据总是只能具有有限位的有效数字，因而也就产生了舍入误差。2.5.2　误差处理的几种方法(1)两个相近的数相减，会严重丢失有效字。(2)除数绝对值较小时，商的绝对值会增大。(3)在运算过程中必须注意合理安排运算顺序，以便提高运算精度或保护重要的参数。2.5.3　病态函数的判别如前所述，运算过程中的每一步都有可能产生误差，而且这些误差还有可能传到下一步去，这种传递有时是增大的，有时是减小的。同时，运算过程中的每一步误差，也会积累到最终的结果中去，只不过这种误差的积累有时是增加的，有时则因互相抵消而减小。2.5.4　算法的稳定性在实际计算中，参与运算的各种数一般都带有一定的误差，这个误差或者是初值本身就有的(例如截断误差)，或者是由于受计算机有效数字位数的限制所造成的舍入误差。这些初始数据的误差(也称为摄动)以及在运算过程中产生的误差即使很小，但随着计算过程的进行，这些误差也会不断地传播下去，对以后的结果产生一定的影响。