PowerBI技巧之A-Softmax的总结及与L-Softmax的对比——SphereFace.pdfVIP

原文： /heguanyou/p/7503025.html 目录 1. A-Softmax的的推推导导 2. A-Softmax Loss的的性性质质 3. A-Softmax的的几几何何意意义义 4. 源源码码解解读读 A-Softmax的的效效果果 与与L-Softmax的的区区别别 A-Softmax的的总总结结及及与与L-Softmax的的对对比比——SphereFace 【引言 SphereFace在MegaFace数据集上识别率在2017年排名第一，用的A Softmax Loss有着清晰的几何定 义，能在比较小的数据集上达到不错的效果。这个是他们总结成果的论文：SphereFace: Deep Hypersphere Embedding for Face Recognition。我对论文做一个小的总结。 1. A-Softmax的的推推导导 回顾一下二分类下的Softmax后验概率，即： p1=exp(WT 1x+b1)exp(WT 1x+b1)+exp(WT2x+b2)p2=exp(WT2x+b2)exp(WT 1x+b1)+exp(WT2x+b2)(1.1) (1.1)p1=exp(W1Tx+b1)exp(W1Tx+b1)+exp(W2Tx+b2)p2=exp(W2Tx+b2)exp(W1Tx+b1)+exp(W2Tx+b2) 显然决策的分界在当p1=p2p1=p2时，所以决策界面是(W1−W2)x+b1−b2=0(W1−W2)x+b1−b2=0。我们可以将 WTix+biWiTx+bi写成∥WTi∥⋅∥x∥cos(θi)+biǁWiT ǁ⋅ǁxǁcos(θi)+bi，其中θiθi是WiWi与xx的夹角，如对WiWi归 一化且设偏置bibi为零 （∥Wi∥=1ǁWiǁ=1，bi=0bi=0），那么当p1=p2p1=p2时，我们有 cos(θ1)−cos(θ2)=0cos(θ1)−cos(θ2)=0。从这里可以看到，如里一个输入的数据特征xixi属于yiyi类，那么θyiθyi 应该比其它所有类的角度都要小，也就是说在向量空间中WyiWyi要更靠近xixi。 我们用的是Softmax Loss，对于输入xixi，Softmax Loss LiLi定义以下： Li=−log(exp(WTyixi+byi)∑jexp(WTjxi+bj ))=−log(exp(∥WTyi∥⋅∥xi∥cos(θyi,i)+byi)∑jexp(∥WTj ∥⋅∥xi∥cos(θj ,i)+bj ) (1.2) (1.2)Li=−log(exp(WyiTxi+byi)∑jexp(WjTxi+bj ))=−log(exp(ǁWyiT ǁ·ǁxiǁcos(θyi,i)+byi)∑jexp(ǁWjT ǁ·ǁxiǁcos(θj ,i)+bj )) 式(1.2)(1.2)中的j ∈[1,K]j ∈[1,K]，其中KK类别的总数。上面我们限制了一些条件： ∥Wi∥=1ǁWiǁ=1，bi=0bi=0，由这些条件，可以得到修正的损失函数 （也就是论文中所以说的modified softmax loss）： Lmodified=1N∑i−log(exp(∥xi∥cos(θyi,i))∑jexp(∥xi∥cos(θj ,i)))(1.3) (1.3)Lmodified=1N∑i−log(exp(ǁxiǁcos(θyi,i))∑jexp(ǁxiǁcos(θj ,i))) 在二分类问题中，当cos(θ1)cos(θ2)cos(θ1)cos(θ2)时，可以确定属于类别1，但分类1与分类2的决策面是同 一分，说明分类1与分类2之间的间隔(margin)相当小，直观上的感觉就是分类不明显。如果要让分类1与分类2有 一个明显的间隔，可以做两个决策面，对于类别1的决策平面为：cos(mθ1)=cos(θ2)cos(mθ1)=cos(θ2)，对于类 别2的策平面为：cos(θ1)=cos(mθ2)cos(θ1)=cos(mθ2)，其中m≥2,m∈Nm≥2,m∈N。mm是整数的目的是为了方 便计算，因为可以利用倍角公式，m≥2m≥2说明与该分类的最大夹角要比其它类的小小夹角还要小mm倍。如果 m=1m=1,那么类别1与类别2的决策平面是同一个平面，如果m≥2m≥2v，那么类别1与类别2的有两个决策平面， 相隔多大将会在性质中说明。从上述的说明与LmodifiedLmodified可以直接得到A Softmax Loss： Lang=1N∑i−log(exp(∥xi∥cos(mθyi,i))exp(∥xi∥cos(mθyi,i))+