金融与财务机器学习 第7章 包含惩罚项的线性回归模型.pptVIP

*本章小结与复习思考题本章小结*OLS模型的基本形式是线性回归方程，通常用均方误差来检验模型的拟合效果，并通过均方误差最小化得到参数的估计值OLS模型广泛应用于在资产定价领域中，包括时间序列回归和横截面回归OLS模型在高维数据中容易出现“维数灾难”的问题本章小结*在包含惩罚项的线性回归模型中，本章首先对能够做到变量压缩的岭回归模型进行了详细介绍，包括岭回归模型的提出、基本原理、变量选择特征、参数调节选择其次，本章介绍了能够筛选变量的LASSO模型，阐述了该模型发展历史、基本原理以及变量选择特征，并对自适应LASSO和GroupLASSO这两种LASSO模型的扩展进行了介绍最后，在岭回归模型和LASSO模型的基础上，本章进一步引出了能够同时做到变量压缩和变量选择的弹性网络模型，对其基本原理、变量选择特征的内容进行了详细介绍复习思考题*1.阐述在时序和横截面使用普通最小二乘法时的差异。2.OLS模型在高维数据下存在什么问题？3.为什么要对线性回归模型加入惩罚项？4.对比LASSO、岭回归和弹性网络在几何模型上的差别并阐述其在大数据变量挑选时的不同。5.哪些施加惩罚项的线性回归模型能够压缩变量？哪些能够选择变量？6.调节参数或惩罚参数的选择标准有哪些？如何判断哪些模型是较优的？*谢谢观看！金融机器学习教研组金融机器学习FuweiJiangFooter*第七章包含惩罚项的线性回归模型章前导读*线性回归是做定量预测的重要工具。实践中，普遍采用普通最小二乘法（OLS）来拟合线性回归当预测变量个数较多时，OLS的方法不再适用于估计线性回归模型可能会包含与响应变量Y呈现非线性关系甚至不存在任何关系的变量，这些变量会复杂化模型，但却不会增加模型的解释力可能会带来过拟合问题，降低模型的预测准确率在线性回归中通常不能直接对维数较高的数据进行OLS回归。可以采用机器学习的方法对待估系数施加惩罚项进行限制和缩减，从而达到增加模型解释力和增强模型预测准确率的目的依据惩罚项的不同，可以将包含惩罚项的线性模型分为套索模型（LASSO）、岭回归模型（Ridge）和弹性网络模型（ElasticNet）章前导读*什么是线性回归模型？什么是包含惩罚项的线性回归模型？如何理解线性回归模型与施加惩罚项线性回归模型的基本原理？又如何运用施加惩罚项的模型来解决线性回归中预测变量较多导致的模型复杂化与过拟合问题呢？本章框架*第一节最小二乘线性回归模型线性回归OLS模型的基本原理OLS模型的应用第二节岭回归岭回归的提出岭回归的基本原理岭回归的变量选择特征岭回归的调节参数选择第三节LASSOLASSO模型的提出LASSO模型的基本原理LASSO模型的变量选择特征LASSO模型的扩展LASSO模型的应用第四节弹性网络弹性网络的提出弹性网络的基本原理弹性网络的变量选择特征*第一节最小二乘线性回归模型线性回归*OLS模型的基本原理——线性模型的估计准则*OLS模型的基本原理——模型参数估计*OLS模型的基本原理——模型参数估计*OLS模型的应用——时间序列回归*OLS模型的应用——横截面回归**第二节岭回归岭回归的提出*岭回归的提出背景：上个世纪20年代，生物领域技术的快速发展带来了高维数据在高维数据的建模中，变量的选择是十分重要的一个步骤岭回归的提出：1962年，Hoerl首先提出了可以缓解“高维问题”的岭回归（RidgeRegression）分析方法岭回归的完善：1970年，Hoer和kennard合作，对岭回归作了进一步的讨论与发展，提出了更完善的岭回归分析方法岭回归的概念：岭回归是基于OLS回归的基础上作出了一定改进的线性回归模型，它综合权衡了模型参数的偏差（Bias）和方差（Variance），在增加一点偏差的情况下降低了模型的方差，提高了模型的拟合效果。岭回归的基本原理*岭回归的变量选择特征*在变量选择特征上，岭回归只能将系数估计值往0的方向进行压缩，无法将系数完全压缩至0，从而完全剔除掉某个变量。如图7.1所示，考虑一种简单情形（自变量个数n=2）来对岭回归的变量选择特征进行解释图7.1Ridge回归示意图岭回归的调节参数选择*岭回归的调节参数选择*（三）交叉验证法交叉验证法又称循环估计（RotationEstimation），由SeymourGeisser提出的，是一种把数