Softmax回归理论与实践：多分类模型构建及正则化方法研究.pdfVIP

•SoftmaxRegression是Logistic回归的推广，Logistic回归是处理二分类问题的

，而SoftmaxRegression是处理多分类问题的

•应用：数字识别（1-10）、文章分类等

•训练集由m个已标记的样本构成：{(x1,y1),(x2,y2)……(xm,ym)}

•由于逻辑回归针对二分类，因此标记y的范围为{0,1}

•两个重要：

1

阶跃函数：=

1+exp(−

=−=1)log())+=0)log(1−))

损失函数：

•训练集由m个已标记的样本构成：{(x1,y1),(x2,y2)……(xm,ym)}

•由于Softmax回归针对多分类，因此标记y的范围为{0-k}

–数字识别：k=10

•在给定输入x，对每一个类别j估算出概率值为p(y=j|x)

–输出一个k维向量（元素和为1）来表示这k个估计的概率值

•Softmax损失函数：

•上式是logistic回归损失函数的推广：

•Softmax回归中将x的分类为类别j的概率为：

•形式上非常类似！！只是softmax损失函数中对类标记的k个值进行累加

•Softmax梯度：

•若k=2，Softmax回归为logistic回归

–Softmax回归是logistic回归一般形式

•利用Softmax回归参数冗余特点，两个参数向量均减去向量θ1

•结论：softmax回归预测与logistic预测概率是一致的

Softmax理论

正则化

【实践】Softmax实践

•机器学习中几乎都可以看到损失函数后会添加一个额外项，通常有两类

–L1正则：L1范数

–L2正则：L2范数

•L1正则化和L2正则化可以看做是损失函数的惩罚项

–所谓『惩罚』是指对损失函数中的某些参数做一些限制。

•对于回归模型：

–使用L1正则化的模型建叫做Lasso回归

–使用L2正则化的模型叫做Ridge回归（岭回归）

•举例：

–L1正则：

–L2正则：

•L1正则：权值向量w中各个元素的绝对值之和，通常表示为

•L2正则：权值向量w中各个元素的平方和然后再求平方根，通常表示为

•通常正则化项前添加一个系数，由用户指定

•优点：

–L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择

–L2正则化可以防止模型过拟合（overfitting）；一定程度上，L1也可以防止过拟合

L1正则：L2正则：

•拟合过程中通常都倾向于让权值尽可能小，最后构造一个所有参数都比较小的模

型。因为一般认为参数值小的模型比较简单，能适应不同的数据集，也在一定程

度上避免了过拟合现象。

•可以设想一下对于一个线性回归方程，若参数很大，那么只要数据偏移一点点，

就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结

果造成什么影响，专业一点的是『抗扰动能力强』。

•为什么L2会控制过拟合？模型为什么可以获得很小的参数？

•以回归为例：

损失函数：

迭代：

•若添加L2后，迭代变为

可以看到，与未添加L2正则化的迭代相比

每一次迭代，θj都要先乘以一个小于1的因子，从而使得θj不断减小，因此总得来看，θ是不断减小的

数据挖掘——Softmax回归

OutLine

Softmax理论