数据挖掘回归算法与模型实践.pdfVIP

•因变量y和自变量x的关系

–y与x相关：y=f(x,w)w为参数

–y还受到噪声的影响：y=f(x,w)+ε

•应用：

–发现y和x的关系

–发现规律，以预测新情况下的y值

•点击率预估，销量预测

•模型

–线性和非线性

•问题

–回归vs.分类中类别概率回归

•典型方法：

–线性回归

–逻辑回归

–Boosting

–神经网络

–等等。。。

•输入：一元自变量x，一元因变量y

–n个样本(x1,y1),……,(xn,yn)

•回归模型

–模型输出：

模型参数：w,b

•如何学习参数？

对每个样本，误差：ε−

–最小化误差平方和：−

•多元：

–自变量（向量）

⋮

–回归方程：

⋯⋮

•统一写为：

⋮

⋯⋮⋯

•只需要研究：

–参数：w

•学习目标：最小化误差平方和

•导数：

⋮−−

–其中：⋮⋮

−

最优点：令导数=0，得到