【模式识别与人工智能】07-第一章-第七节-线性回归-正则归回1.pptxVIP

第一章线性回归-正则归回1模式识别与人工智能授课教师：栾声扬汇报人：何紫齐

CONTENTS套索回归1求解方法3L1正则化2

PART01套索回归

1.7.1套索回归什么是套索回归？套索回归又称最小绝对收缩和选择算子回归（LeastAbsoluteShrinkageandSelectionOperatorRegression，简称Lasso回归）。第五节正则归回1套索（Lasso）回归模型由上式可以看出套索（Lasso）回归，就是在损失函数后添加一个正则项，此正则项叫做权重向量的L1范数。

1.7.1套索回归套索（Lasso）回归的用途对于线性回归模型而言，会出现过拟合的现象，即模型在训练集上表现良好，而在测试集上表现很差，模型不能得到很好的泛化，此时利用套索（Lasso）回归，给模型添加一个正则项，来约束模型的权重，它拥有的自由度越少，则过拟合数据的难度就越大，进而使模型得到良好的泛化能力。第五节正则归回1

1.7.1套索回归

图1三种拟合状态第五节正则归回1

PART02L1正则化

1.7.2L1正则化L1正则化项是指各权重向量的绝对值之和，表示为惩罚系数控制要对模型正则化的程度，越大，模型的权重会被压缩的越小，甚至等于0，这是L1正则化的一个重要特质，它会让权重向量在最优