机器学习-梯度下降、正则、交叉验证、特征选择、变量分类.pptVIP

*/48 LOGO 第九节：梯度下降、正则、交叉验证、特征选择、变量分类、 梯度下降 Batch gradient descent 一个迭代更新需要把所有的训练数据扫一遍。 N很大的时候，训练效率很低。 直到收敛或者参数值变化很小 do Stochastic gradient descent 每次只利用一个样本： 直到收敛或者参数值变化很小 Mini-batch gradient descent Batch gradient descent ： 每次用所有的样本集合 Stochastic gradient descent: 每次用一个样本 Stochastic gradient mini-batch gradient batch gradient 每次采样一部分样本计算梯度 两个不同的极端 属于中间折中的方案 Gradient noise increase 还有哪些地方可以优化 ？？ 直到收敛或者参数值变化很小 do 正则 Bias variance trade-off 从这个角度能不能去解释为什么深度学习会有优势？ 过拟合问题 减少过拟合方法/模型复杂度 减少特征个数 增加样本数量 引入正则项 正则化是降低模型复杂度的一种方法 惩罚参数 正则项 惩罚系数越大，模型复杂度越低； 惩罚系数越小、模型复杂度越高 比如 L2，L1，L1+L2 正则 加入正则会降低bias,