(3.3)--3.3 线性回归机器学习与模式识别.pptVIP

LinearRegression线性回归

CHAPTERONE线性回归基础FoundationofLR

一、线性回归基础分类任务分类任务与回归任务-定义：根据观测数据判断一个对象的类别-示例：根据医疗大数据判别恶性肿瘤，垃圾邮件区分。回归任务-定义：根据某一种变量的观测数据，预测与该对象相关的另一个变量的精确数值。-策略：根据数据去拟合一个函数来预测输出-示例1：根据气象数据预测PM2.5的数值-示例2：二手车网站根据车的各项参数估计成交价格

一、线性回归基础问题概述示例-波士顿房价问题-美国波士顿房地产经纪人，如何运用已知的房产相关信息建立一个模式识别算法，帮助客户为自己的房产定下最佳售价。数据集介绍-源于美国某经济学杂志，用于分析研究波士顿房价的数据集。-主要内容是波士顿周边或城镇房产信息和房价情况的记录。-数据集包括506个样本，13个输入变量及1个输出变量。-输入变量：住宅房间数、是否靠河、到市中心的距离、地区犯罪率、地区房产税率、地区教育水平等13项属性。-输出变量：房产交易价格。

一、线性回归基础示例-波士顿房价问题变量名说明CRIM城镇人口犯罪率ZN超过25000平方英尺的住宅用地所占比例INDUS城镇非零售业务地区的比例CHAS查尔斯河虚拟变量(如果土地在河边=1；否则是0)NOX一氧化氮浓度(每1000万份)RM平均每居民房数AGE1940年之前建成的自用房屋比例DIS到五个波士顿就业中心的加权距离RAD辐射状公路的可达性指数TAX每10,000美元的全额物业税率RTRATIO城镇师生比例B城镇黑人比例LSTAT人口中地位较低人群的百分数MEDV自有住房的中位数报价（以千美元计）变量详述

一、线性回归基础示例-波士顿房价问题变量详述输入：属性数值输出：估价

一、线性回归基础问题假设线性回归问题原型?线性回归模型?

一、线性回归基础优化对象（自变量）线性回归优化问题?代价函数?如何设计代价函数优化策略-梯度下降法

一、线性回归基础均方误差函数线性回归代价函数?真实MSE的优势-等价于欧式距离的平方，易于理解-凸函数，不存在局部最小陷阱-导数形式简单，有封闭解

CHAPTERTWO线性回归的梯度优化解Gradient-basedSolution

二、线性回归的梯度优化解?目标函数???凸曲面?

二、线性回归的梯度优化解基于梯度下降法的参数迭代公式??根据梯度下降法，参数迭代公式?

CHAPTERTHREE线性回归的最小二乘解MinimumSquareSolution

三、线性回归的最小二乘解最小二乘法概述最小二乘法又称最小平方和法，目标是最小化误差平方和最小二乘法得到的优化解简称为最小二乘解线性回归问题的最小二乘解?逼近-线性回归问题是均方误差的最小化问题-线性回归的解是该问题的最小二乘解

三、线性回归的最小二乘解线性回归问题的最小二乘解推导代价函数?代价函数的导数?

三、线性回归的最小二乘解线性回归问题的最小二乘解推导令代价函数的导数等于零???使用矩阵表达输入输出????

三、线性回归的最小二乘解最小二乘解描述得出最小二乘解??

例题

例题——波士顿房价回归利用波士顿房价数据集，训练一个包含所有特征的房价预测线性回归模型，分别利用封闭解和梯度下降两种方法，比较结果，分析两种算法的差异与优劣点。

例题——波士顿房价回归封闭解?w=np.dot(np.linalg.pinv(np.dot(X.transpose(),X)),

np.dot(X.transpose(),np.array(y)))

例题——波士顿房价回归梯度下降迭代h=np.dot(x,w)

diff=h-y

forj,thetainenumerate(w):

w[j]=theta-row/x.shape[0]*np.sum(diff*x[:,j])?

总结

线性回归基础线性回归线性回归的梯度优化解目标函数基于梯度下降法的参数迭代公式标量形式图示最小二乘法概述线性回归问题的最小二乘解推导最小二乘解描述分类任务与回归任务示例：波士顿房价问题线性回归问题原型线性回归优化问题问题概述数据集介绍线性回归的最小二乘解理解线性回归矩阵论解释线性方程组解释几何解释过拟合于正则化

LMPRMADEBYDONGYUECHENTHANKYOU感谢聆听