談瞎子爬山與優化方法.ppt

* 2015.5.30 – 嘉兴学院 2015.11 南京大学 * * * * * * * * * * * * * * * * 中国邮递员问题 邮递员送信， 要走遍他负责的所有街道，然后回到邮局。 如何走，总路程最短？ 网络优化： 连通图 G=(V,E) , w(e) 是 边 e 的长度 要求一个圈C , 使得过每条边而且极小化 最短路径问题（旅行商问题） 一个推销员要到若干城市推销产品，然后返回。已知每两个城市之间的距离，如何选择旅行路线，使得每个城市经过一次，而且总的行程最短？ 图 G=(V,E) , w(e) 是 边 e 的长度。找G的一个 Hamilton 圈C , 使得 N 个城市: 路径可能性 最短路径问题（例子） 线性规划:单纯形法 Linear Programming (LP) Problem: min cT x A x = b x ≥ 0 单纯形方法 逐步调整N ? 得到解 G. Dantzig(1914-2005) 线性规划的另两个奠基者 Leonid Kantorovich John von Neumann (1912-1986) (1903-1957) 小人物 ?? 大人物 Hotelling(1885-1973) ： “But we all know the world is nonlinear.” Von Neumann(1903-1957): “Mr. Chairman, Mr Chairman, if the speaker doesn’t mind, I would like to reply for him. The speaker titled his talk `linear programming’ and carefully stated his axioms. If you have an application that satisfies the axioms, well use it. If it does not, then don’t.” 线性规划：内点法 Interior Point Method (Karmarkar, 1984) xk 0 ? 内点 November 19, 1984 Gibert Strang (1934-） 美国科学院院士 美国工业与应用数学学会前会长 首届ICIAM 苏步青奖获得者 内点法 与 罚函数 min cTx s.t. A x = b x = 0 Log-barrier function: min cTx - ∑ log (xi) s.t. A x = b KKT ? Newton’s Step 内点法和平面几何 优化问题 任何存在/需要决策的问题都是优化问题 力学： （最小重量，最大载重，结构最优） 材料科学； （最小能量） 金融： （最大利润，最小风险） 生命科学： （DNA 序列, 蛋白质折叠） 信息科学： （Data Mining, 图像处理） 地学： （反问题 －－ 误差最小） 交通： （最大效益，时刻表，恢复运行） 图像存储问题 尽可能少的存贮，尽可能清晰的图像 ? 求解 A x = b ， x ∈ Rn A ∈ Rm×n , b ∈ Rm . m n . 要求： x 尽量多的分量为零! D.L. Donoho (IEE Trans IT, 2006) 简单例子 2 x + y + 2 z = 3 3 x + 3 y + 4 z = 6 无穷多个解： 三个特殊解： x =