数值15(最小二乘法1)要点解析.pptVIP

周期数据 例7. 人体的周期预测 t0=datenum(Dec.20,1983) t1=fix(now); t=(t1-28):1:(t1+28); y=100*[sin(2*pi*(t-t0)/23); sin(2*pi*(t-t0)/28); sin(2*pi* (t-t0)/33)] plot(t,y) legend(生理周期,情绪周期,智力周期) 例8. 外部气温在不同时间尺度下服从周期循环。 load temperature.mat plot(x,y);u=0:0.01:1; v=-1.95-0.7445*cos(2*pi*u)-2.5594*sin(2*pi*u); hold on,plot(u,v,r) 例9. 指数函数(刻画增长或衰减的数据规律,如放射性原子核的衰变规律和Moore定律) 我们总是高估在一年或者两年中能够做到的,而低估五年或者十年中能够做到的。 线性化改变了原最小二乘问题。 对于原非线性最小二乘问题可以考虑Gradient Descent和 Gauss-Newton等优化方法。 摩尔定律已经成为工业界一切呈指数型增长事物的代名词。下一个十年, 摩尔定律可能还将有效。可以肯定的是, 创新无止境。 ——戈登.摩尔(英特尔创始人) 例10. 幂函数(power law) 例11.生物界的牛顿定律 1998年Nature的一篇文章Common rules for animals and plants揭示了生物体的一些常见计量值与其质量的关系, 被Nature编辑喻为生物界的牛顿定律。简单的说就是发现了Y=Y0Mb ,其中M为质量, Y为生物体的一些计量值, Y0为常数关系中b值的大小和原因, 且这一规律在横跨质量的21个数量级都满足。 例12. 计算机视觉中Gamma校正 例13. 血液中药物的衰减规律 研究人血液中药物诺氟西汀的水平规律 线性化改变了原最小二乘问题,对于原非线性最小二乘问题可以考虑Gradient Descent和 Gauss-Newton等优化方法。 如何选择最佳的模型? Reference: /blog/adventures-in-statistics/how-to-choose-the-best-regression-model 在所有可能选择的模型中，我们应该选择能够很好地解释已知数据并且十分简单的模型。 奥卡姆剃刀原理(Ockhams Razor) 自然科学研究模式: 发现问题 (想象力比知识更重要) 描述现象 阐述机理 提出方法 设计机制 分享的例子: 发现问题 (第谷) 描述现象 (开普勒三大定律) 阐述机理 (牛顿万有引力定律) 提出方法 设计机制 (设计宇宙飞船) 注释: 也许人文学科有不同的模式? */46 */46 * 超定方程组 最小二乘拟合 模型综述 《数值分析》 15 ? ? ? 引子: 行星运动定律(开普勒第三定律) 绕以太阳为焦点的椭圆轨道运行的所有行星, 其各自椭圆轨道半长轴的立方与周期的平方之比是一个常量。 行星 半长轴 (a) 周期 (T) T2/a3 海王星 450 165 天王星 287 84 2.99 2.98 行星运动定律 绕以太阳为焦点的椭圆轨道运行的所有行星, 其各自椭圆轨道半长轴的立方与周期的平方之比是一个常量。 不相容方程组(inconsistent equation) 一个无解的方程组称为不相容。许多情况下方程个数大于未知量个数使解不大可能满足所有的方程。 定义: 一个方程组若至少存在一个解能够严格满足该方程组,则称为相容方程(consistent equation)。 定理: 线性方程Ax=b是相容的当且仅当 rank([A,b])=rank(A) 。 不相容方程组(inconsistent equation) 当方程组不相容时, 如何寻求次佳(next-best)解。 我们希望残差r尽可能小,这里小的标准是什么呢？ 多变量函数极值点: 最小二乘解(Least Squares Solution): 例1 回顾: 大数据环境下的数据挖掘 引子: 行星运动定律(开普勒第三定律) 绕以太阳为焦点的椭圆轨道运行的所有