Logistic回归梯度下降法.docx

Logistic回归学习材料 广义线性模型（generalizedlinear model） 这一家族中的模型形式基本上都差不多，不同的就是因变量不同。 如果是连续的，就是多元线性回归； 如果是二项分布，就是Logistic回归； 如果是Poisson分布，就是Poisson回归； 如果是负二项分布，就是负二项回归。 Logistic回归的因变量可以是二分类的，也可以是多分类的，但实际中最常用的就是二分类的Logistic回归。自变量既可以是连续的，也可以是分类的。 常规步骤 Regression问题的常规步骤为： 寻找h函数（即hypothesis）； 构造J函数（损失函数）； 使J函数最小并求得回归参数（θ） 构造预测函数h Logistic回归实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别），所以利用了Logistic函数（或称为Sigmoid函数），函数形式为： ? 下面左图是一个线性的决策边界，右图是非线性的决策边界。 对于线性边界??情况，边界形式如下（n：特征个数；m：样本数）： 构造预测函数为： 函数的值有特殊的含义，它表示结果取1的概率，因此对于输入x分类结果为类别1和类别0的概率分别为： 构造损失函数J J函数如下，它是基于最大似然估计推导得到的。 下面详细说明推导的过程： （1）式综合起来可以写成： 取似然函数为： 对数似然函数为： 最大似然估计就是求使取最大值时的θ，将取为下式，即： 因为乘了一个负的系数-1/m，所以取最小值时的θ为要求的最佳参数。 梯度下降法求的最小值 θ更新过程： θ更新过程可以写成： ? 更新过程向量化（Vectorization） 训练数据的矩阵形式如下，x的每一行为一条训练样本，而每一列为不同特征的取值： θ更新过程可以改为： 综上所述，Vectorization后θ更新的步骤如下： （1）求； （2）求； （3）求?。