机器学习算法与实践 课件 第5章 线性模型.pptx

第五章线性模型线性模型是机器学习中常用的一种建模方法，它基于线性关系对输入特征与输出目标之间的关系进行建模和预测。线性模型具有简单且易于解释的特征权重，使得我们可以理解每个特征对输出的贡献。而且，线性模型具有良好的可解释性，可以用于推断变量之间的关系和影响程度。1

5.1线性回归一元线性回归假设因变量和自变量之间存在线性关系，这个线性模型所构成的空间是一个超平面（hyperplane）。超平面是n维欧氏空间中余维度等于一的线性子空间，如平面中的直线、空间中的平面等，总比包含它的空间少一维。在一元线性回归中，一个维度是因变量，另一个维度是自变量，总共两维。因此，其超平面只有一维，就是一条线。2

5.1.1简单线性回归 简单线性回归是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。??3

5.1.1简单线性回归??????4

5.1.2多变量线性回归 直线回归研究的是一个因变量与一个自变量之间的回归问题。但是，在许多实际问题中，影响因变量的自变量往往不止一个，而是多个。?5

5.1.2多变量线性回归???6

5.1.2多变量线性回归????因此，线性回归模型为?7

5.1.3梯度下降法 梯度下降法(gradientdecent)是一个最优化算法，通常也称为最速下降法。常用于机器学习和人工智能当中用来递归性地逼近最小偏差模型。 当函数定义域和取值都在实数域中的时候，导数可以表示函数曲线上的切线斜率。除了切线的斜率，导数还表示函数在该点的变化率。在一元函数中，只有一个自变量变动，不存在偏导数。偏导数至少涉及到两个自变量，是多元函数沿不同坐标轴的变化率8

5.1.3梯度下降法???9

5.1.3梯度下降法????10

5.1.3梯度下降法 在具体使用梯度下降法的过程中，主要有以下三种：（1）批量梯度下降法 批量梯度下降法针对的是整个数据集，通过对所有的样本的计算来求解梯度的方向。（2）小批量梯度下降法 在批量梯度下降法的方式中每次迭代都要使用到所有的样本，对于数据量特别大的情况，如大规模的机器学习应用，每次迭代求解所有样本需要花费大量的计算成本。（3）随机梯度下降法 随机梯度下降法可以看成是小批量梯度下降法的一个特殊的情形，即在随机梯度下降法中每次仅根据一个样本对模型中的参数进行调整，即每个小批量梯度下降法中只有一个训练样本11

5.1.4多项式回归 多项式回归是研究一个因变量与一个或多个自变量间多项式关系的回归分析方法。当自变量只有一个时，称为一元多项式回归。?同理当自变量有多个时，则称为多元多项式回归?12

5.2逻辑回归???13

5.2逻辑回归Sigmoid函数有一个非常实用的性质。其导数式为：? Sigmoid函数在实数范围内连续可导，优化稳定。任意自变量经过Sigmoid函数映射后得到的结果可以看成是一个概率。Sigmoid函数值以0.5为中心，可以将大于0.5的数据映射为1类，小于0.5的数据映射为0类。14

5.2.1二分类逻辑回归逻辑回归的表达式????15

5.2.1二分类逻辑回归继上页，则有???写成对数形式就是交叉熵损失函数??16

5.2.2多分类逻辑回归 普通的逻辑回归只能针对二分类(BinaryClassification)问题，要想实现多个类别的分类，我们必须要改进逻辑回归，让其适应多分类问题。 第一种方式是直接根据每个类别，都建立一个二分类器，带有这个类别的样本标记为1，带有其他类别的样本标记为0。针对每一个测试样本，我们需要找到这k个分类函数输出值最大的那一个，即为测试样本的标记。?17

5.2.2多分类逻辑回归 第二种方式是修改逻辑回归的损失函数，让其适应多分类问题。这时损失函数不再笼统地只考虑二分类非1就0的损失，而是具体考虑每种样本标记的损失。这种方法被称为Softmax回归。??18

5.2.2多分类逻辑回归损失函数可以表示为?对其求导，可得?其更新参数为?19

5.3模型正则化 在训练数据不够多或者过度训练时，常常会导致过拟合（Overfitting）。正则化（Regularization）方法即是在此时向原始模型引入额外信息，以防止过拟合并提高模型泛化性能。??正则化一般具有以下形式20

5.3模型正则化?? 第1项的损失函数值较小的模型可能较复杂（有多个非零参数），这时第2项的模型复杂度会较大，正则化的作用是选择损失函数值与模型复杂度同时较小的模型。21

5.4本章小结 线性回归是一种用于建模和预测连续数值输出的线性模型，它假设输入特征与输出之间存在线性关系。多项式回归是线性回归的扩展，通过引入高阶项，能够拟合非线性关系的数据。逻辑回归则是