LL正则化的课件.pptxVIP

;Regularization 正则化 VS 规则化 规则化：顾名思义，给你的模型加入某些规则，来达到某些目的（在机器学习或者深度学习中是为了防止过拟合） 正则化：标准术语，有点给外行人学术门槛的味道；这个翻译用得最普遍，所以我们接下来继续用正则化作为它的“官方”翻译。;;;为了让W多几个为0，对于我们的正则化项 ,定义如下3种范数： L0范数： ，指向量中非0的元素的个数，越小说明0元素越多 L1范数： ，指向量中各个元素绝对值之和 L2范数： ，即各元素的平方和再开方 ;第6页/共26页;第7页/共26页;线性回归+L1正则项：Lasso 回归 线性回归+L2正则项：Ridge 回归（岭回归）;如果我们用L0范数来正则化一个参数矩阵W的话，就是希望W的大部分元素都是0，让参数W是稀疏的，“压缩感知”、“稀疏编码”就是通过L0来实现的 那为什么用L1去稀疏，而不用L0呢???因为L0范数很难优化求解（NP难问题）（？） L1范数是L0范数的最优凸近似，而且它比L0范数要容易优化求解 ;特征选择： xi的大部分元素（也就是特征）都是和最终的输出yi没有关系或者不提供任何信息的；但在预测新的样本时，这些没用的信息反而会被考虑，从而干扰了对正确yi的预测。稀疏规则化算子的引入就是为了完成特征自动选