多元回归中选择自变量的一种简单方法.pdfVIP

应用概率统计 第三十一卷 ChineseJournalofAppliedProbability 第一期 2015年2月 andStatisticsV01．31NO．1Feb．2015 多元回归中选择 自变量的一种简单方法 木 陈家鼎 李东风 (北京大学数学科学学院，北京，100871) 摘 要 在线性回归模型建模中，回归自变量选择是一个受到广泛关注、文献众多，具有很强的理论和实 际意义的问题．回归 白变量选择子集的相合性是其中一个重要问题，如果某种 自变量选择方法选择的 子集在样本量趋于无穷时是相合的，而且预测均方误差较小，则这种方法是可取的．利用BIC准则可以 挑选相合的自变量子集，但是在 自变量个数很多时计算量过大；适应lasso方法具有较高计算效率，也能 找到相合的自变量子集；本文提出一种更简单的自变量选择方法，只需要计算两次普通线性回归：第一 次进行全集回归，得到全集的回归系数估计，然后利用这些回归系数估计挑选子集，然后只要在挑选的 自变量子集上再进行一次普通线性回归就得到了回归结果． 考虑如下的回归模型： = + ￡() ， 其中回归系数 中非零分量下标的集合为 ，设 是本文方法选择的自变量子集下标集合，p )是本 文方法估计的回归系数f未选中的自变量对应的系数为零)，本文证明了，在适当条件下， lim P( =J0)=1， ( 一 ) N(0，∑) nEII~…‘一卢lI。 。c， 其中(”‘一p)Jo表示 ‘一 的分量下标在 中的元素的组成的向量，0-2是误差方差，∑，c是与矩 阵(x )／礼极限有关的矩阵和常数． 数值模拟结果表明本文方法具有很好的中小样本性质． 关键词： 变量选择，回归分析，oracleproperty~ 学科 分类 号： O212．1． §1． 引言和主要结果 设有线性回归模型 P Y=∑ xj+E， (1．1) j=l 北京大学统计与信息技术教育部～微软重点实验室资助 本文2014年7月26日收到． doi：10．3969／j．issn．1001—4268．2015．01．007 72 应用概率统计 第三十一卷 其 其中 1，X2… ．， (P1)是非随机的自变量，是可观测的因变量，E是不可观测的随机变 中 量(随机误差)， =(1，2… ．， )是未知的参数向量(回归系数)，这里及下面用 表示 转“ 置”．设参数 的真值是 =(， …．， )，很可能有一些 =0，相应的变量 对 无影 响．令 Jo={：1 J p， ≠0)． (1．2) 为了表示向量的一部分分量组成的子向量，引入如下记号．设U= (Ul，U2… ．，up)， 一 1，J2…．，)c{l，2…．，p}(jl 2… )，则记(