机器学习原理与应用课件 第3章 线性回归.pptxVIP

第3章 线性回归

学习目标理解线性回归的基本原理掌握运用Scikit-learn库实现线性回归的基本方法12

目录页3.1基本原理3.2应用实例线性回归

3.1基本原理回归分析是一种研究自变量与因变量之间关系的模型构建方法，其主要目标在于利用直线或曲线拟合已知数据点以使指定的误差（如数据点至直线或曲线距离之和）最小。回归分析通常分为模型学习和预测两个过程，前者主要根据给定的训练数据构建模型，后者则根据新数据预测相应的输出。线性回归是一种较为简单、常用的回归分析方法，其在假设目标值（因变量）与特征值（自变量）之间线性相关的基础上，通过求解指定误差或损失函数确定相应的线性模型参数。

知识拓展回归是由弗朗西斯·高尔顿（FrancisGalton??）于1877年提出，其目的在于根据上一代豌豆种子(双亲)的尺寸来预测下一代豌豆种子(孩子)的尺寸。Galton在大量对象上应用了回归分析，甚至包括人的身高。他注意到，如果双亲的高度比平均高度高，他们的子女也倾向于比平均高度高，但尚不及双亲。孩子的高度向着平均高度回退(回归)。Galton在多项研究上都注意到这个现象，所以尽管这个英文单词跟数值预测没有任何关系，但这种研究方法仍被称作回归。

3.1基本原理针对机器学习中分类与回归两类常见问题，在已知训练样本的情况下，前者与后者的输出分别为离散型数值（或分类标记）与连续型数值。回归分析的目的在于利用已知样本确定指定回归方程或模型的相关系数以通过新样本与相关系数之间的数学运算实现连续型输出值的求解或相关问题的预测。

3.1.1基本概念回归最简单的定义可表述为：已知特征空间中的点集，利用已知或未知形式的函数对其进行拟合以使点集与函数之间的误差最小；若目标值（因变量）与特征值（自变量）之间为线性相关关系（自变量指数为1），则称为线性回归，否则则称为非线性回归（自变量指数大于1）。线性回归通过求解指定代价或目标函数的方式确定相应的相关系数；根据自变量数量，线性回归分别一元线性回归与多元线性回归。

3.1.1基本概念?

3.1.1基本概念（2）多元线性回归多元线性回归旨在确定多个自变量与一个因变量之间的线性关系，相应的模型可采用一个多元一次线性方程进行表达；需要注意的是，“多元”与“多次”是两个不同的概念，“多元”是指模型参数的数量，而“多次”则指模型参数的最高次幂。

3.1.1基本概念（3）广义线性回归广义线性回归是传统线性回归的拓展，在实际中可用于处理分布形态多样的数据。广义线性回归模型的一般形式是在多元线性回归模型的基础上，将其中的因变量更换为特定的函数（如对数函数），因而具有与多元线性回归模型相同的参数。然而，从本质上而言，广义线性回归模型实现了数据从输入空间至输出空间的非线性映射，通常可更全面、深入地描述数据中蕴含的规律或关键信息。

3.1.1基本概念回归应了“物以类聚，人以群分”这一句俗语。我们交友时一定会遵循一些原则，但是朋友也有亲疏之分，真正关系十分亲近的好友必定是有着相同的人生观，世界观，价值观。我们也要靠近三观都正的圈子，让自己总是保持积极乐观的状态。课程思政

3.1.1基本概念在探讨线性回归的基本原理之前，首先通过一个简单实例明确线性回归的主要目的。在图3-1中，有10个沿直线分布的真实数据点（蓝色圆点）与噪声点（橙色方形点），在真实数据点未知的情况下，如何根据噪声点确定真实数据点所在的真实直线？需要强调的是，在实际中，由于各种干扰因素（如运行引起的图像模糊）的影响，真实数据点通常难以获取，而求取真实数据点相关的模型（如直线）却是各类机器学习算法的根本目的。

3.1.1基本概念图3-1线性回归示例图

3.1.2数学模型与求解根据以上分析，线性回归问题的求解可归结为两个步骤，即：首先明确或定义线性回归模型的基本形式，然后用已知数据点及约束条件构造相应的代价或风险函数求取回归模型参数

3.1.2数学模型与求解?

3.1.2数学模型与求解?

3.1.2数学模型与求解???????图3-2一元线性回归

3.1.2数学模型与求解?

3.1.2数学模型与求解?

3.1.2数学模型与求解?

3.1.2数学模型与求解?

3.1.2数学模型与求解?

3.2应用实例Scikit-learn库包含线性回归模块及糖尿病、波士顿房价等用于回归分析的数据集，其中，线性回归模块的引入方式如下：fromsklearn.linear_modelimportLinearRegression函数原型如下：LinearRegression(fit_intercept=True,normalize=False,copy_X=True,n_jobs=1)

3.2.1体重预测在人们的日常生活中，体重