843大数据 挖掘与统计机器学习.pdfVIP

( 第2章线性回归方法 本章介绍最常用的线性回归方法。2.1节回顾经典多元线性回归的基础内容。为了解 决多元回归的多重共线性以及高维问题的自变量选择问题，2. 2节介绍两种压缩回归方 法岭回归和Lasso回归。2:3节进一步介绍求解Lasso的最小角回归算法以及Lasso 解的理论性质。2. 4节给出损失函数加罚的建模框架，并介绍不同损失函数和罚函数组合 的各种回归模型。2. 5节给出上机实践的例子。 2.1多元线性回归 2.1.1多元线性回归模型 1.多元线性回归模型及其矩阵表示 设y是ー个可观测的随机变量，它受到P个因素ハ，心，…，： ^ (根据具体情况， 它们可以是非随机变量，但更多时候是随机变量，此时考虑的是给定ェ：，心，…，： ^情 况下，y的条件分布）和随机因素e的影响，ッ与A， む，…，巧有如下线性关系： y=j3QJr §iXiJr\-l3pXp+e (2. 1) 式中，/?。，的，…，沁是P + 1个未知参数； £是不可测的随机误差，服从一定的分布。 通常假设服从均值为〇,方差为y的分布。若进ー步假定服从正态分布iV (0