机器学习（MATLAB版）ch02-线性模型与逻辑斯谛回归 教学课件.pptxVIP

线性模型与逻辑斯谛回归新工科建设之路·人工智能系列教材机器学习(MATLAB 版)第二章 01线性模型的基本形式 线性模型的基本形式 1.线性回归模型的理论基础给定样本数据集 1.线性回归模型的理论基础顺便提及一下，基于均方误差极小化来进行模型求解的方法称为“最小二乘法”。在线性回归中，最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小，极小化的过程，可将式(2.3)中的 E(w,b) 分别对w和b求导并其等于 0，得到：解得 w和b为: 1.线性回归模型的理论基础 1.线性回归模型的理论基础 1.线性回归模型的理论基础 1.线性回归模型的理论基础 2.线性回归模型的 MATLAB实现在MATLAB中，为了方便用户的使用，针对线性回归算法封装了函数 tlm，该函数不仅适用于简单的线性回归，同时也适用于多元线性回归。函数 ftlm 的使用方法有如几种。其中，X 表示样本属性矩阵;y 表示样本标签的向量; modelspec 表示拟合的方式，其相关参数可为constant’“linear’interactions’purequadratic’quadratic’等，分别表示常数回归拟合《即一条横线)、直线拟合、可存在交叉项的拟合(但不存在平方项)、可存在平方项的拟合(但不存在交叉项)、交叉项和平方项同时存在的拟合;Name 为可选参数的名称;Value 为可选参数的取值，在未对可选参数赋值时，其取值为默认值。 02逻辑斯谛回归 1.逻斯归的基原理考虑二分类任务，假设分类标签yε{0,1} 。我们知道，概率的取值为0~1，如果有这样的一个函数:对于一个样本的属性向量，这个函数可以输出样本属于每一类的概率值那么这个函数就可以用作分类函数。不难发现，Sigmoid 函数就是这样的一个函数: 1.逻斯归的基原理也就是说，只要知道了 σ(z) 就能直接写出其导数。Sigmoid 函数的图像如图 2.2 所示。 1.逻斯归的基原理类似于式(2.14)，式(2.17) 可变形为:若将 y 看作样本 2 作为正例的可能性，则 1-y 是其负例可能性，两者的比值 1.逻斯归的基原理称为“概率”，它反映了 作为正例的相对可能性。对概率取对数则得到“对数概率”:可以看出，式(2.17)实际上是在用线性回归模型的预测值去逼近真实标签的对数概率这一模型就称为“逻斯谛回归”，也叫作“对数概率回归”。值得一提的是，虽然它的名字是“回归”，但实际是一种分类学习方法。这种方法有很多优点: 1.逻斯归的基原理(1)直接对分类可能性建模，无须事先假设数据分布，避免了假设分布不准确所带来的问题。(2) 不仅可预测出类别，而且可得到近似概率预测，这对需利用概率辅助决策的任务很有用。(3)预测函数是任意阶可导的凸函数，现有的许多数值优化算法都可直接用于求取最优解。 1.逻斯归的基原理容易理解，因为y为1或0，上式分别等于样本属于正、负类样本的概率。逻辑斯谛回归的是样本属于某个类的概率，而类别标签为离散的 1或0，因此不适合用欧氏距离误差来定义损失函数。可考虑通过极大似然法来确定模型参数。由于样本之间相互独立同分布训练样本集的似然函数为: 1.逻斯归的基原理对数似然函数为: 1.逻斯归的基原理 1.逻斯归的基原理 1.逻斯归的基原理根据凸优化理论，经典的数值优化算法如梯度下降法、牛顿法等都可求得其最优解。梯度下降法的迭代更新公式为:而牛顿法的第k +1 轮代解的更新公式为: 1.逻斯归的基原理注 2.2 当二分类标签为{-1,1}时，逻辑斯谛回归模型可采用双曲正切 tanh 作为预测函数:tanh 函数的图像跟 Sigmoid 函数很像，只不过 tanh 函数的值域为{-1,1}。实际上，tanh函数经过简单的平移缩放就能得到 Sigmoid 函数，即:tanh 函数同样具有优良的求导性质，即: 2.逻辑斯谛回归的MATLAB实现由于逻辑斯谛回归属于广义的线性模型，因此在 MATLAB 中通过广义线性模型函数 glmft 来实现。对于glft 函数的调用有以下几种方式。其中，X 表示样本矩阵，维度是 n x m，表有n个样本，每个样本有 m 个属性;y一般是一维向量，表示样本标签，同时也可以是二维向量: distt 表示回归时回归曲线与样本之间偏差的误差分布，相关分布包括正态分布(Normal)、伯努利分布 (Binomial)、伽马分布(Gamma)、逆高斯分布 (Inverse Gaussian)、泊松分布(Poisson); param1表示可设置的参数的名称; val1 表示关参数的取值。返回值 b 是一个 m +1 维的向量，表示回归系数(w:b) dev 表示合偏差: stats 表示逻辑斯归时相关的统计量，是一个结构体，其内部包含各种与统计相