Softmax回归精选.pdfVIP

Softmax回归 重庆大学 杨钰源 1. 引言 该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类 标签 可以取两个以上的值。Softmax 回归模型对于诸如MNIST手写数字分类 等问题是很有用的，该问题的目的是辨识10个不同的单个数字。Softmax 回归 是有监督的，后面也会介绍它与深度学习/无监督学习方法的结合。 在 logistic 回归中，训练集由 个已标记的样本构成： ，其中输入特征 。假定特征向 量 的维度为 ，其中 对应截距项 。 由于 logistic 回归是 针对二分类问题的，因此类标记 。假设函数(hypothesisfunction) 如下： 训练模型参数 能够使代价函数最小化。代价函数如下： 在 softmax回归中，解决的是多分类问题（相对于 logistic 回归解决的 二分类问题），类标 可以取 个不同的值 （而不是 2 ）。因此，对于训练 集 ，我们有 。例如， 在 MNIST 数字识别任务中，有 个不同的类别。 对于给定的测试输入 ，用假设函数针对每一个类别 j估算出概率值 。也就是估计 的每一种分类结果出现的概率。因此，假设函数 将要输出一 维的向量（向量元素的和为1）来表示这 个估计的概率值。 具体地说，假设函数 形式如下： 其中 是模型的参数。 这一项对概率 分布进行归一化，使得所有概率之和为 1 。 为了方便起见，同样使用符号 来表示全部的模型参数。在实现Softmax 回归时，将 用一 的矩阵来表示会很方便，该矩阵是将 按行罗列起来得到的，如下所示： 2.Softmax代价函数 现在来介绍 softmax 回归算法的代价函数。在下面的公式中， 是示 性函数，其取值规则为: 值为真的表达式 , 值为假的表达式 。 Softmax代价函数为： logistic回归代价函数可以改为： 可以看到，Softmax代价函数与logistic 代价函数在形式上非常类似，只是 在Softmax损失函数中对类标记的 个可能值进行了累加。在Softmax 回归 中将 分类为类别 的概率为： . 对于 的最小化问题，目前还没有闭式解法。因此，使用迭代的优化算 法（例如梯度下降法，或 L-BFGS）。经过求导，得到梯度公式如下： 回顾一下符号 的含义。 本身是一个向量，它的第 个元 素 是 对 的第 个分量的偏导数。 有了上面的偏导数公式以后，就可以将它代入到梯度下降法等算法中，来最 小化 。 例如，在梯度下降法的标准实现中，每一次迭代需要进行如下更 新: ( ）。 当实现 softmax 回归算法时， 通常会使用上述代价函数的一个改进版本。 具体来说，就是和权重衰减(weightdecay)一起使用。接下来介绍使用它的动机 和细节。 3.Softmax回归模型参数化的特点 Softmax 回归有一个不寻常的特点：它有一 “冗余”的参数集。为了便于 阐述这一特点，假设从参数向量