(机器学习)对数线性模型之Logistic回归、SoftMax回归和最大熵.pdfVIP

Logistic 回归 A、Logistic 回归 分类问题可以看作是在回归函数上的一个分类。一般情况下定义二值函数， 然而二值函数构成的损失函数非凸，一般采用 sigmoid 函数平滑拟合（当然也 可以看作是一种软划分，概率划分）：从函数图像我们能看出，该函数有很好 的特性，适合二分类问题。至于为何选择 Sigmoid 函数，后面可以从广义线性 模型导出为什么是 Sigmoid 函数。 逻辑回归可以看作是在线性回归的基础上构建的分类模型，理解的角度有 多种（最好的当然是概率解释和最小对数损失），而最直接的理解是考虑逻辑 回归是将线性回归值离散化。即一个二分类问题（二值函数）如下： Sigmoid 函数： 0-1 损失的二分类问题属于一种硬划分，即是与否的划分，而 sigmoid 函 数则将这种硬划分软化，以一定的概率属于某一类（且属于两类的加和为 1）。 Sigmoid 函数将线性回归值映射到 的概率区间，从函数图像我们能看出， 该函数有很好的特性，适合二分类问题。因此逻辑回归模型如下： 这里对于目标函数的构建不再是最小化函数值与真实值的平方误差了，按 分类原则来讲最直接的损失因该是 0-1 损失，即分类正确没有损失，分类错误 损失计数加 1。但是 0-1 损失难以优化，存在弊端。结合 sigmoid 函数将硬划 分转化为概率划分的特点，采用概率的对数损失（概率解释 -N 次伯努利分布加 最大似然估计），其目标函数如下： 同样采用梯度下降的方法有： 又： 所以有： B、概率解释 逻辑回归的概率解释同线性回归模型一致，只是假设不再是服从高斯分布， 而是服从 0-1 分布，由于 ，假设随机变量 y 服从伯努利分布是合理的 。即： 所以最大化似然估计有： logistic 采用对数损失（对数似然函数）原因： 1) 从概率解释来看，多次伯努利分布是指数的形式。由于最大似然估计导出的 结果是概率连乘，而概率（ sigmoid 函数）恒小于 1，为了防止计算下溢，取对 数将连乘转换成连加的形式，而且目标函数和对数函数具备单调性，取对数不 会影响目标函数的优化值。 2 ）从对数损失目标函数来看，取对数之后在求导过程会大大简化计算量。 Softmax 回归 A、Softmax 回归 Softmax 回归可以看作是 Logistic 回归在多分类上的一个推广。考虑二分 类的另一种表示形式： 当 logistic 回归采用二维表示的话，那么其损失函数如下： 其中，在逻辑回归中两类分别为，二在 softmax 中采用，两个随机变量组 成二维向量表示，当然隐含约束 . 为了更好的表示多分类问题，将（不一定理解 为的取值为，更应该理解为可以取类）多分类问题进行如下表示： 其中向量的第位为 1，其他位为，也就是当 时将其映射成向量时对应第 位为。采用多维向量表示之后，那么对于每一维就变成了一个单独的二分类问 题了，所以 softmax 函数形式如下： 其中函数值是一个维的向量，同样采用对数损失（ N元伯努利分布和最大 似然估计），目标函数形式是 logistic 回归的多维形式。 其中表示第个样本的标签向量化后第维的取值或者 . 可以看出 Softmax 的损 失是对每一类计算其概率的对数损失，而 logistic