1、pakko 的博客《逻辑回归》.pdf

1、pakko 的博客 《逻辑回归》 /pakko/article/details 什么是逻辑回归？ Logistic 回归与多重线性回归实际上有很多相同之处，最大的区别就在于它们的因变量不同， 其他的基本都差不多。正是因为如此，这两种回归可以归于同一个家族，即广义线性模型 （generalizedlinear model）。 这一家族中的模型形式基本上都差不多，不同的就是因变量不同。  如果是连续的，就是多重线性回归；  如果是二项分布，就是Logistic 回归；  如果是Poisson分布，就是Poisson回归；  如果是负二项分布，就是负二项回归。 Logistic 回归的因变量可以是二分类的，也可以是多分类的，但是二分类的更为常用，也更 加容易解释。所以实际中最常用的就是二分类的Logistic 回归。 Logistic 回归的主要用途：  寻找危险因素：寻找某一疾病的危险因素等；  预测：根据模型，预测在不同的自变量情况下，发生某病或某种情况的概率有多大；  判别：实际上跟预测有些类似，也是根据模型，判断某人属于某病或属于某种情况 的概率有多大，也就是看一下这个人有多大的可能性是属于某病。 Logistic 回归主要在流行病学中应用较多，比较常用的情形是探索某疾病的危险因素，根据 危险因素预测某疾病发生的概率，等等。例如，想探讨胃癌发生的危险因素，可以选择两组 人群，一组是胃癌组，一组是非胃癌组，两组人群肯定有不同的体征和生活方式等。这里的 因变量就是是否胃癌，即“是”或“否”，自变量就可以包括很多了，例如年龄、性别、饮食习 惯、幽门螺杆菌感染等。自变量既可以是连续的，也可以是分类的。 常规步骤 Regression问题的常规步骤为： 1. 寻找h函数 （即hypothesis）； 2. 构造J 函数 （损失函数）； 3. 想办法使得J函数最小并求得回归参数 （θ） 构造预测函数h Logistic 回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即 输出只有两种，分别代表两个类别），所以利用了Logistic函数 （或称为Sigmoid函数）， 函数形式为： Sigmoid 函数在有个很漂亮的“S”形，如下图所示 （引自维基百科）： 下面左图是一个线性的决策边界，右图是非线性的决策边界。 对于线性边界的情况，边界形式如下： 构造预测函数为： 函数 的值有特殊的含义，它表示结果取 1的概率，因此对于输入x分类结果为 类别1和类别0的概率分别为： 构造损失函数J Cost函数和J 函数如下，它们是基于最大似然估计推导得到的。 下面详细说明推导的过程： （1）式综合起来可以写成： 取似然函数为： 对数似然函数为： 最大似然估计就是求使 取最大值时的θ，其实这里可以使用梯度上升法求解，求得 的θ就是要求的最佳参数。但是，在Andrew Ng的课程中将 取为下式，即： 因为乘了一个负的系数-1/m，所以取 最小值时的θ为要求的最佳参数。 梯度下降法求的最小值 θ更新过程： θ更新过程可以写成： 向量化Vectorization Vectorization是使用矩阵计算来代替for循环，以简化计算过程，提高效率。 如上式，Σ(...)是一个求和的过程，显然需要一个for语句循环m次，所以根本没有完全的 实现vectorization。 下面介绍向量化的过程： 约定训练数据的矩阵形式如下，x 的每一行为一条训练样本，而每一列为不同的特称取值： g(A)的参数A为一列向量，所以实现g函数时要支持列向量作为参数，并返回列向量。由 上式可知 可由 一次计算求得。 θ更新过程可以改为： 综上所述，Vectorization后θ更新的步骤如下： （1）求 ； （2）求 ； （3）求 。 正则化Regularization 过拟合问题 对于线性回归或逻辑回归的损失函数构成的模型，可能会有些权重很大，有些权重很小，导 致过拟合 （就是过分拟合了训练数据），使得模型的复杂度提高，泛化能力较差 （