机器学习及其应用课件 第2章-模型估计与优化.pptxVIP

2.1模型参数估计2.4模型正则化策略2.3模型优化概率方法2.2模型优化基本方法第二章模型估计与优化

2.1模型参数估计ModelParameterEstimationCHAPTER022.1.1最小二乘估计2.1.2最大似然估计

核心定义(Definition)最小二乘估计（LSE）是一种数学优化技术，通过最小化误差的平方和来寻找数据的最佳函数匹配。其核心思想是让观测点与模型预测值之间的总偏差最小。历史渊源(History)该方法由勒让德（Legendre）和高斯（Gauss）在19世纪初独立提出，最初用于解决天文学中的行星轨道预测问题，是数学史上最伟大的发现之一。Adrien-MarieLegendreCarlFriedrichGauss2.1.1最小二乘估计

核心目标寻找一条直线（或曲线），使得所有数据点到该直线的垂直距离的平方和最小。为什么是平方和？1.避免不可导点：2.惩罚大误差：放大离群点误差，使拟合结果更倾向于整体最优。?2.1.1最小二乘估计

基本模型假设?2.1.1最小二乘估计

?根据误差最小的基本思想，最优参数向量取值对应的整体误差最小?2.1.1最小二乘估计

?2.1.最小二乘估计

?2.1.1最小二乘估计

?2.1.1最小二乘估计

?2.1.1最小二乘估计

定义(Definition)最大似然估计(MLE