第五章45课件讲解.pptxVIP

第五章汇报人：人工智能专业使用逻辑回归进行分类

逻辑回归的基本原理PARTONE

3逻辑回归虽然名为回归，实际上却是一种线性分类模型。逻辑回归与线性回归的目标都是得到一条直线，不同的是，线性回归的直线是尽可能拟合自变量的分布，使得训练集中所有样本点到直线的距离尽可能短；而逻辑回归的直线是尽可能拟合决策边界，使得训练样本中不同类的样本点尽可能分离。5.1逻辑回归的基本原理

表3-2回归数据集4例如，用房屋面积和房屋离市中心的距离来预测连续的房屋价值，这是回归问题，如表3-2所示；用房屋面积和房屋离市中心的距离来预测房价的高低，这就是分类问题，如表3-3所示。回归与分类最主要的区别就是预测值的类型，如果模型的预测值是连续的数值，就是回归问题；如果模型的预测值是不连续的离散值，就是分类问题。房屋面积/（m2）房屋离市中心的距离/（km）房价/（万元）10018002908940.00234房屋面积/（m2）房屋离市中心的距离/（km）房价10018.00高909.00低8940.00低表3-3分类数据集对于回归模型的预测值，如果人为地设置一个阈值（如300），低于该阈值的归类为低房价，高于或等于该阈值的归类为高房价。那么，就可以把线性回归模型输出的连续值进行离散化，即将线性回归模型改造成相应的线性分类模型。5.1.1回归与分类的区别

51．阶跃函数线性回归模型改造成线性分类模型的关键在于如何将模型输出的连续值进行离散化。最直接的方法是设置若干阈值，将回归模型输出的连续值分割为不同的区间，每个区间表示一个类别，从而实现连续值的离散化。然而，这种方法需要人为设置阈值，阈值怎样设置才合理呢？通常对于二分类问题，可将阈值设置为所有样本因变量的中位数或均值。但对于有些问题，这样的分类并不合理，如考试成绩及格或不及格，并不是以均值或中位数对样本进行划分的。从数学角度看，这种人为地设置阈值的方法相当于使用阶跃函数（见图3-1）对线性回归模型的输出值进行函数映射。图3-1阶跃函数5.1.2逻辑回归的原理分析

62．激活函数阶跃函数是不连续的函数，无法求导数，而求线性回归参数时，通常需要使用求导数的方法来求极小值。因此，引入阶跃函数之后将导致线性回归模型无法求方程的参数。为此，人们设计出了一些具有良好数学性质的激活函数来代替阶跃函数，以实现对连续值的离散化。线性回归模型引入激活函数后就变成了线性分类模型。可见，线性分类模型就是在线性回归模型的基础上增加了一层激活函数。逻辑回归就是这样一种线性分类模型，它在线性回归模型的基础上增加了激活函数Sigmoid，Sigmoid函数的数学表达式为5.1.2逻辑回归的原理分析

7图3-2Sigmoid函数的图形图3-2为Sigmoid函数的图形，它与阶跃函数的形状很相似，但在阶跃处是连续的。当时，Sigmoid的值为0.5，随着x值的增大，对应的Sigmoid值逐渐接近1；随着x值的减小，Sigmoid值逐渐接近0，但Sigmoid的值永远不可能达到1或0。2．激活函数3.1.2逻辑回归的原理分析

83．逻辑回归的函数表达式线性回归模型的函数为，逻辑回归是在线性回归的基础上增加了一层Sigmoid函数。如果令，并且将作为自变量代入中，即可得到逻辑回归模型。因此，逻辑回归的函数表达式为即通过函数表达式可以看到，的值域为。因此，可将看成是一个关于样本的概率分布。5.1.2逻辑回归的原理分析

9训练逻辑回归模型的过程就是寻求参数w和b的最佳值的过程。那么，怎样求得参数w和b的最佳值呢？使用逻辑回归处理二分类问题时，模型的预测结果为0或1。对于每个样本，希望逻辑回归预测的类别为真实类别的概率越大越好。具体来说，对于任意给定的n个样本组成的数据集，表示某个样本，表示该样本的标签。如果为正例（标签为1），则希望的值越大越好；如果为反例（标签为0），则希望的值越小越好，即“”的值越大越好。由于样本的标签的两个取值互补，故可将两式结合起来，得到3．逻辑回归的函数表达式5.1.2逻辑回归的原理分析

高手点拨10公式