实验说明1：蒲丰投针.DOC

实验说明3：回归分析 实验目的 通过具体实例理解回归分析； 理解各种回归技术中的模型选择，为实例数据集选择一个合适复杂度的模型。 实验内容 1. 数据集：前列腺癌数据（ prostate.dat） 该数据集包括了97位准备做前列腺根治手术病人的前列腺特殊抗原（lpsa: log prostate specific antigen）和8个临床指标： lcavol：log cancel volume （肿瘤体积） lweight：log prostate weight （前列腺重量） age：（年龄） lbph：log bengin prostatic hypcrplasia （良性前列腺增生量） svi：seminal vesicle invasion （精囊浸润） lcp：log of capsular penetration （包膜穿透） gleason：gleason score （Gleason积分） pgg45：percent of Gleason scores 4 or 5 （ Gleason4/5所占百分比 ）。 该数据集是ESL一书中讨论回归分析中的数据集，意在考察前列腺特殊抗原与这些临床指标之间的相关性。数据集中的97个样本被分成了67个训练样本和30个测试样本。数据来源于：/~tibs/ElemStatLearn/。 2. 实现下列回归技术中的两种： 线性回归：必选 岭回归 Lasso 核回归 局部线性回归 对每种回归技术，选择最合适（测试误差最小）的模型。测试误差可用下述技术估计： AIC/BIC 交叉验证 Bootstrap。 要求对每种技术，给出不同复杂度模型的训练误差、测试误差的估计和真正的测试误差，比较训练误差和测试误差随模型复杂度不同的变化趋势。 下面以岭回归为例，说明实验内容和步骤： 岭回归的基本原理 岭回归是在最小二乘的基础上增加一个L2正则项，即 。 岭回归的解为 。 在岭回归中，正则因子控制模型的复杂度。当时，目标函数中取决的作用的是RSS项，此时相当于普通的最小二乘；当时，目标函数中取决的作用的是正则项，即要求模型越简单，最简单的模型为不包括任何输入特征的模型。 对给定问题，要选择一个合适的模型，就是要确定合适的正则因子。在度量模型复杂度时，我们更常用的一个度量表示模型中的有效参数的数目： ， 其中为X的奇异值分解（SVD）中D的对角线元素，即 。 岭回归实现 岭回归求解时需要计算矩阵的逆，但实现时通常不采用直接求逆，而是采用QR分解或SVD分解。当只需计算给定某个的岭回归解时，用QR分解实现效率更高。而当需要计算多个不同的岭回归解时（如模型选择时需比较不同的对应模型），采用SVD分解更合适，因为这时SVD分解只需进行一次。不同的解与SVD之间的关系为： ， 。 实验结果及分析 我们采用10折交叉验证来估计不同复杂度模型的测试误差。实验中模型复杂度参数λ在10-5和103之间log等分30份。不同λ对应的交叉验证误差、训练误差和测试误差如图1所示，对应的回归系数的值如图2所示。 从图1中可以看出，当增大，即模型变复杂时，训练误差会越来越小，而测试误差开始随着模型变复杂而减小，但当模型到一定复杂度时，测试误差反而会增大。因此要得到测试误差最小的模型，需要选择一个合适的模型复杂度。采用一倍方差原则，10折交叉验证选择的最佳模型为：。 图1：岭回归交叉验证的测试误差。 从图2中可以看出，当增大，即模型变复杂时，回归系数越来越大（远离0），此时减小，正则项的影响减弱。但当模型到一定复杂度时，测试误差反而会增大。因此要得到测试误差最小的模型，最佳模型对应的回归参数如表1所示。该模型的训练误差为0. 5407，在测试集上的真实测试误差为0. 5425，比最小二乘的测试误差减小了一些。 图2：岭回归交叉验证的回归系数轨迹图。 表1. 岭回归的系数 特征 截距 2.4523 lcavol 0.3532 lweight 0.2217 age -0.0164 lbph 0.1467 svi 0.2026 lcp 0.0457 gleason 0.0454 pgg45 0.1149