《高维数据的参数估计研究文献综述》3500字.docxVIP

PAGE3

高维数据的参数估计研究文献综述

1.1高维数据的参数估计

（1）Ridge回归

关于岭回归的回归系数估计问题前人的研究已经非常成熟了，这里仅列举几个相关文献。何良材(1990)[1]提到了岭回归估计回归系数的方法，即对最优化问题求导，之后再求解系数向量，即。另外，何秀丽(2005)[2]以多元线性回归模型的典则形式为研究对象，考虑了缩减均方误差，对岭回归惩罚参数K的合理性进行了一系列的研究。王浩华和李胜军(2009)[3]也是考虑了缩减均方误差，研究了岭回归参数K的合理性，并将其控制在一定合理且较小的范围内。万丽颖(2016)[4]基于岭回归分析的定义和性质，讨论了岭参数的选择方法和存在性，由此得到多种岭参数K的选择方法，例如控制残差平方和法、岭迹图法等，并在最后对岭回归方法进行了推广，由此解决了许多实际生活中的难题。上述研究者对岭回归系数估计的结果与1990年何良材提出的都是相同的，其显示解都是上述的。但是岭回归没有进行变量选择，得到的模型不够简洁。

（2）Lasso回归

由于Lasso回归用的是L1范数，它并不是光滑的，所以不能利用简单的梯度下降法来对系数进行估计。其中一种求解Lasso回归稀疏向量的较为普遍的方法是最小角回归算法，EfronBietal.(2004)[5]在文中就是利用的最小角回归算法求得Lasso回归系数的。另外一种较为常见也是应用