基于Lasso和支持向量机的组合预测及其应用.docVIP

基于Lasso和支持向量机的组合预测及其应用 　　摘要针对Lasso方法与支持向量机两者的联系与各自的优势，给出了基于Lasso与支持向量机的串联型、并联型和嵌入型三种组合预测，并将它们运用到我国粮食价格预测中.实证结果表明，与单一预测方法的预测结果相比，基于Lasso方法与支持向量机的串联型组合预测和嵌入型组合预测具有更高的预测精度. 　　关键词组合预测；Lasso；支持向量机 　　中图分类号F069 文献标识码A 　　AbstractIn view of the connection between Lasso and support vector machine and their respective advantages， we gave three kinds of combination forecast model， which includes series combination forecast， parallel combination forecast and embedded combination forecast. Then we used them in Chinas grain price forecast. The empirical results show that compared with the prediction results of single prediction method both series combination forecast and embedded combination forecast based on Lasso and Support Vector Machine have higher prediction accuracy. 　　Key words combination forecast； Lasso； support vector machine 　　1引言 　　在实际建模过程中，往往会涉及到自变量的选择问题.如果模型中的自变量太多，可能会削弱估计以及预测的稳定性，相反，自变量太少则会导致所拟合的模型与实际情况有太大的偏差.因此，如何从众多影响因素中选择最适合的解释变量就显得十分重要.Lasso[1]是一种带有惩罚因子的线性模型估计方法，它用模型的惩罚函数压缩模型的系数，绝对值较小的系数会自动压缩为0，从而使得参数估计和变量选择可以同时实现，而且有利于我们更好地解释模型.Lasso回归模型既像最佳子集回归那样便于解释，同时又具有岭回归类似的稳定性，该方法的进一步完善及其应用已成为统计学研究中的热点问题之一. 　　支持向量机 （SVM）是在统计学习理论[2]的基础上发展起来的一种新的、非常有效的机器学习方法，主要用于解决小样本的学习规律 [3]，它避开了从归纳到演绎的传统过程，实现了高效的从训练样本到预报样本的“传导推理”，大大简化了通常的分类和回归等问题，较好地解决了小样本、非线性、过拟合和局部极小等问题.目前，支持向量机已经广泛应用于生物学、化学以及经济学等实际领域.同时，学者们也在对该方法进行不断的改进，其中一个很重要的方面是探索支持向量机与其他方法的融合和进行支持向量机的稀疏性研究[4]-[8].Lasso方法和支持向量机这两种预测模型均适用于小样本数据，但单一模型存在一定的应用盲区.Lasso方法在变量选择问题上比传统的逐步回归、岭回归和主成分回归等方法具有优越性，并且Lasso方法能同时实现对变量的选择和模型参数的估计，但Lasso方法不能用于非线性模型，而支持向量机能够处理非线性的问题，但不能进行特征筛选.因此，本文将Lasso方法和支持向量机组合起来进行拟合和预测，在预测过程中弥补其各自的缺点，实现它们的优势互补，可望比单一方法更能有效地利用信息，从而得到高精度、高效率的组合预测模型. 　　2基于Lasso方法与支持向量机的 　　组合预测模型 　　2.1Lasso及支持向量机方法 　　Lasso回归即最小绝对值压缩与选择算子（Least Absolute Shrinkage and Selection Operator），它是 Tibshirani.R（1996）提出的一种关于线性回归的新方法.Lasso回归是在普通线性最小二乘的基础上加了一个约束条件，使各系数的绝对值之和小于某一常数，从而将没有影响或影响较小的自变量的回归系数自动压缩到零. 　　当ss0时，就会使一些回归系数的Lasso估计值缩小或者趋向于0，甚至等于0，这些估计值为0的系数所对应的解释变量将会被删除，从而达到变量选择的目的，当s≥s0时，Lasso估计就是普通最小二乘估计.Lasso方法具有预测的精度高、模型的可解释