投影寻踪回归.docVIP

第一节 投影寻踪回归 我们先介绍一下Peter Hall提出的投影寻踪回归(Projection Pursuit Regression)的思想，它一点也不神秘。 我们手中的资料是是p元，Yk是一元。非参数回归模型是 （10.1.0） 我们的任务是估计p元函数G，当然。G是将p元变量映像成一元变量，那么何不先将p元变量投影成一元变量，即取，再将这个一元实数u送进一元函数G作映像呢?由于要选择投影方向，使估计误差平方和最小，就是要寻踪了。所以取名为投影寻踪回归。 具体操作如何选方向θ，如何定函数G，如何证明收敛性，下面将逐步讲述。需要指出的是，投影寻踪回归与单指针半参数回归模型的思想基本上一样，基本算法也差不多，差别大的方面是收敛结果及证明。若论出现时间，投影寻踪回归较早，在1989年，单指针模型较晚，在1993年。 一、投影寻踪回归算法 假设解释变量集合是来自密度函数为f的p元随机样本，对每一个p元样本xk,有一元观察Yk与之对应，并且 （10.1.1） 这里G是回归函数，也是目标函数。令Ω为所有p维单位向量的集合，θ,θ1,θ2，…是Ω中的元素。如果H是一个p元函数，比如f或G，则H沿方向θ的方向导数记作 （10.1.2） 假如这个极限存在的话。高阶导数则记作,等等。x∈Rp的第i个分量记作x(i),点积,模长。符号A表示Rp的子集，通常是指凸集。I(·∈A)表示A的示性函数，I(x∈A)=1,。u一般代表实数。 我们的任务是从观察作出p元函数G(x)的估计，遇到的问题是p太大，维数太高，解决的办法是作投影寻踪回归。 作沿着θ方向的一元函数 （10.1.3） 在区域内对G的第一次投影逼近是函数 （10.1.4） 这里θ1是极小化下式 （10.1.5） 的结果。当然这里G是未知的，所以我们要作出S(θ)与gθ(u)的估计，才能得到G1(x)的估计。下面构造它们的估计。 设θ·x的密度为fθ，称作沿方向θ的X的边沿密度，利用样本xj但不包括xk构造fθ的核估计为 （10.1.6） 这里K是核函数，h是窗宽。排除xk在外的gθ的估计为 （10.1.7） 借助于交叉核实的思想，作下式 （10.1.8） 的极小化，其解就作为θ的估计。于是 （10.1.9） 就可以作为回归函数G在区域A的第一次投影逼近。 将估计限制在区域A的理由在于，用来估计G1的统计量在分母中有密度的核估计。这个核估计在f的边界取值接近于0，再作分母就有问题了。所以我们要对分母接近于0的区域加以限制。 刚才构造统计量时将xk排除在外的目的是为了使交叉核实统计量获得的参数估计不致有额外偏差。一旦确定下来，就可以在统计量中将xk放回去，不再排除在外： （10.1.10） （10.1.11） （10.1.12） 我们称才真正是在区域A内与f有关的G的第一次投影逼近。 要证明分别是θ1与G的一致估计还是比较容易的。我们还可以证明它们一致收敛的收敛速度。 下面我们给出核函数K与窗宽h的构造选择细节。我们使用的核函数是一元的，满足f与G的一维投影的平滑条件。假定f(x)与G(x)沿一切方向的前r阶方向导数存在，定义 （10.1.13） 为了不为0，进一步假定 f(x)在一个闭集外为0，而在Aε上不为0 （10.1.14） 为了保证集合是合适的区间，对于每一θ∈Ω，我们假定A非空，是一p维开凸集。 对于固定的θ，估计量如和是经典的一元核估计，使用的是一元样本{θ·xk,1≤k≤n}，为了得到较高的收敛速度，可以使用r阶正交核函数K，它满足 （10.1.15） 并且K是连续的。所谓连续，即存在ε0,c0,对一切实数u,ν,有 （10.1.16） 现在我们确定窗宽。考虑模型 （10.1.17） 这里是独立同分布的，其均值为0，方差为σ2，与相互独立。假定h=h(n)→0，且nh→∞。对于固定的θ∈Ω，假定fθ(u)0,且 （10.1.18） 这里Z(u)是渐近服从正态N(0，1)，当取收敛于的收敛速度是。c(u,θ)表示一个常数，它依赖于u,θ取值，但不随n, r改变。 二、投影寻踪回归收敛性质 设θ1，θ0∈Ω，θ0固定而θ收敛于θ0。为了引进S (θ)的Taylor展开，令θ00是与θ、θ0在同一平面上两个单位向量之一，且与θ0垂直。假定θ与θ0、θ00的关系如下 （10.1.19） 这里-1≤η≤1。这个式子对于变换：(η，θ00)(-η,-θ00)是相等的，并且当θ→θ0时η=θ·θ00→0。 在合适的规则条件下，S(θ)有合适的Taylor展