高维多重共线性数据特征筛选.pdfVIP

摘 要 随着信息技术的不断发展，在金融、气象预测、基因研究等一些领域中，统 计学家常能够收集到高维数据。但由于维数过高，传统的统计分析方法和变量选 择方法变得不再稳健和难以适用。并且还有其他的难题需要去克服，例如当误差 分布为厚尾分布时，它们的效率都普遍较低甚至它们会变得无法适用；还有当自 变量间存在严重的多重共线性时，这也会严重干扰到变量选择方法的筛选效果。 为了克服多重共线性，本文突破性地提出能够应对存在多重共线性高维线性数据 的稳健的高维特征筛选法。 本文的主要工作如下： 第一章阐述了在面临高维数据时变量筛选的研究现状与历史，并且对一些常 用特征筛选方法进行了回顾和学习，最后对本文的内容安排和创新点进行了说明。 第二章中提出一种针对多重共线性的高维特征筛选法，可处理存在多重共线 性这类型的高维数据。当下很多针对高维线性模型的研究都是基于单一的边际效 应下进行的，变量的筛选依赖于变量之间相互独立，这使得当存在变量间存在多 重共线性时可能导致变量筛选的不稳定性，本文通过引入净效应的这一概念，让 自变量的净效应替代其边际效应，提出一种基于全局影响的特征筛选方法，这使 得其筛选方法的适用范围更广，并进一步通过证明得到了确定筛选性质。 第三章通过数值模拟和实例分析中与其他筛选方法比较的结果说明了推广 后的筛选方法更具稳定性。 第四章总结了本文所提出的特征筛选方法，并对可以进一步地去研究的方 向进行展望。 关键词：高维线性数据；多重共线性；特征筛选；筛选确定性质 I Abstract With the continuous development of information technology, statisticians are often able to collect high-dimensional data in some fields such as finance, weather forecasting, and genetic research. However, due to the high dimensionality, traditional statistical analysis methods and variable selection methods are no longer robust and difficult to apply. And there are other problems to be overcome. For example, when the error distribution is thick-tailed, they are generally inefficient or even become unsuitable; and when there is serious multicollinearity between independent variables, It will also seriously interfere with the screening effect of the variable selection method. In order to overcome multicollinearity, this paper proposes a robust high-dimensional feature screening method that can cope with the existence of multicollinear high-dimensional linear data. The main work of this article is as follows: In Chapter 1, it expounds the research status and history of variable screening in the face of high-dimensiona