数值分析15(最小二乘法1).ppt

超定方程组 最小二乘拟合 模型综述;引子: 行星运动定律(开普勒第三定律); 行星 半长轴 (a) 周期 (T) T2/a3 ; 不相容方程组(inconsistent equation); 不相容方程组(inconsistent equation);多变量函数极值点:;例1;回顾:;大数据环境下的数据挖掘;引子: 行星运动定律(开普勒第三定律);例2: 研究弹簧伸长的长度跟引起形变的外力的关系。; x 0.0861 0.1720 0.2598 0.2701 0.3015 0.3225 f(x) 0.0197 0.0398 0.0597 0.0647 0.0697 0.0746;例3. 美国人口统计数据(censusgui); x x1 x2 ·········· xm f(x) y1 y2 ·········· ym;例4. 求最小二乘拟合数据点(-1,1),(0,0),(1,0),(2,-2)的直线模型和抛物线模型。;例5. 线性分类(Machine Learning) ; x x1 x2 ·········· xm f(x) y1 y2 ·········· ym;压缩的概念:;最小二乘数据拟合:;3.最小化残差的绝对值之??;最小二乘拟合的步骤:;最小二乘拟合问题研究包括:; The Law Dominants Our World (ten most important formulas on stamps issued by Nicaragua in 1971);The Law Dominants Our World;The Law Dominants Our World;模型综述;例6. 线性规律 Linear Law;周期数据;周期数据;例7. 人体的周期预测;例8. 外部气温在不同时间尺度下服从周期循环。;load temperature.mat plot(x,y);u=0:0.01:1; v=-1.95-0.7445*cos(2*pi*u)-2.5594*sin(2*pi*u); hold on,plot(u,v,r);例9. 指数函数(刻画增长或衰减的数据规律,如放射性原子核的衰变规律和Moore定律);线性化改变了原最小二乘问题。;摩尔定律已经成为工业界一切呈指数型增长事物的代名词。下一个十年, 摩尔定律可能还将有效。可以肯定的是, 创新无止境。 ——戈登.摩尔(英特尔创始人);例10. 幂函数(power law);例11.生物界的牛顿定律;例12. 计算机视觉中Gamma校正;例13. 血液中药物的衰减规律;线性化改变了原最小二乘问题,对于原非线性最小二乘问题可以考虑Gradient Descent和 Gauss-Newton等优化方法。;如何选择最佳的模型?; 在所有可能选择的模型中，我们应该选择能够很好地解释已知数据并且十分简单的模型。;自然科学研究模式:;分享的例子: