大数据技术与应用6非线性变换与过拟合新版本.pptx

大数据技术与应用;逻辑回归(Logistic Regression);最小化 Ein(w);最小化 Ein(w);梯度下降法;逻辑回归算法;随机梯度下降（SGD）;2016/10/23;线性假设;Circular （圆形）可分;线性可分与圆形可分;?空间的线性假设;通用的二次假设集合;好的二次曲线;非线性变换步骤;非线性转换Φ + 线性模型 = 非线性模型;计算/存储代价;一般情况下的建议;回顾多项式转换;结构化的假设集合;优先选择线性模型;2016/10/23;过拟合;过拟合及欠拟合;过拟合的原因分析;例子;例子;以退为进—目标函数是10次多项式;学习曲线;以退为进—目标函数是50次多项式;避免过拟合的几种方法;正则化—调整;在约束条件下回退;条件约束下的回归分析;放松约束条件;再放松约束条件;正则化回归分析问题的矩阵形式;ridge regression(脊回归/岭回归);拉格朗日乘子法;拉格朗日乘子法;?;2016/10/23;如此多的模型;模型选择问题;根据Ein来选择模型？;训练集产生Ein，测试集Dval;通过最优的Eval选择模型;实战中的验证结果;K的选择;选择K的另一种策略;Leave-One-Out的缺陷;如何改进leave-one-out交叉验证;Occam’s 剃刀;简单的模型;2016/10/23