最小二乘法和最大似然法.pptxVIP

第1页/共45页最小二乘法和最大似然法第2页/共45页最小二乘法线性建模向量/矩阵符号线性建模的非线性响应泛化与过拟合第3页/共45页线性建模定义模型： 将模型定义为一个将输入属性映射到输出或目标值的函数。模型假设： 为了便于选择特定的模型来使用，我们需要做一些假设模型优化： 确定模型中的参数，使模型最好的拟合所给信息第4页/共45页线性建模的例子下图显示了从1896年至今，奥林匹克运动会男子100米金牌得主所需的时间第5页/共45页?第6页/共45页注：线性关系?第7页/共45页 接下来的任务是选取合适的ω值来确定我们假设的模型以达到最优。我们先来了解下ω0和ω1对模型的影响：第8页/共45页?第9页/共45页??第10页/共45页 最小二乘解： 通过对损失函数求偏导数的方法，取得各个系数的极值点；然后联立解得各个系数的最优解。第11页/共45页最小二乘解实例：第12页/共45页建立模型为:?所以损失函数为：?第13页/共45页分别对ω1和ω0求偏导可得：??让他们分别等于零，然后联立便可求出最优解第14页/共45页向量/矩阵符号 当我们考虑问题更加细致化的时候，会发现每一个已知数据都会对最后的结果产生影响，为了突出这些细节，我们可以通过引入更多参数的方法，这样一来势必会增加计算量，所以引入向量和矩阵以简化计算是非常重要的。第15页/共45页关于向量和矩阵的基础知识?第16页