(3.4)--3.4 理解线性回归机器学习与模式识别.pptVIP

UnderstandLinearRegression理解线性回归

CHAPTERONE线性回归的三面镜子ThreeMirrorsforLR

一、线性回归的三面镜子矩阵形式第一面镜子：矩阵运算?封闭解中包含对称阵求逆??

一、线性回归的三面镜子?第二面镜子：线性方程组?????

一、线性回归的三面镜子?第三面镜子：几何解释??

一、线性回归的三面镜子??????

CHAPTERTWO过拟合与正则化(一)OverfittingandRegularization

二、过拟合与正则化(一)泛化能力概念解释模型对于没有训练过的新数据的识别能力过拟合模型在训练样本上的性能很好，但泛化能力很差通常由模型相对于问题过于复杂引起欠拟合模型在训练样本集上的性能不好通常由模型相对于问题过于简单引起正则化Regularization，本意为“规则化”在机器学习中，就是为模型增加约束，降低复杂度

二、过拟合与正则化(一)三种情况线性回归结果分析??+1??存在无穷多组解，会出现过拟合现象??+1=??存在唯一解，我们能得到在训练集上的最佳性能??+1??无解，属于欠拟合现象过拟合???无数个超平面都能完美拟合训练数据，哪一种最好？

二、过拟合与正则化(一)结构风险最小化准则：正则化在目标函数中加入一个正则化项(Regularizationterm)??正则化系数岭回归：在自相关矩阵????=??????的对角线元素上加一个常数??，使得??????满秩?等价性：?

课后思考题

课后思考题——线性回归的概率模型估计解释?问题假设??

总结

三面镜子理解线性回归过拟合与正则化(一)概念正则化欠拟合正则化泛化能力过拟合L2范数正则化项岭回归两者的等价性矩阵运算线性方程组几何解释概率估计解释最大似然估计最大后验概率估计