Softmax 函数的分析与应用综述.pdfVIP

Softmax函数（综述）

Softmax函数，也称为softargmax1:184或归⼀化指数函数2:198，能够将⼀个⻓度为

K的实数向量转换为K个可能结果的概率分布。它是逻辑函数在多维空间的推⼴形式，常⽤于多

项式逻辑回归中。Softmax函数通常作为神经⽹络中最后⼀层的激活函数，⽤于将⽹络输出归⼀

化为对各个预测类别的概率分布。

1.定义

Kz

Softmax函数以⼀个⻓度为的实数向量作为输⼊，并将其归⼀化为⼀个概率分布：

该分布由K个概率值组成，每个概率值与输⼊中对应元素的指数成正⽐。也就是说，在应⽤

Softmax之前，向量中的些分量可能为负，或⼤于1，且它们的和不⼀定为1；但在应⽤

Softmax之后，每个分量都将位于区间(0,1)之内，并且所有分量之和为1，因此可以将它们

解释为概率。此外，输⼊值越⼤的分量，对应的概率也越⼤。

标准（单位）Softmax函数σ:RK→(0,1)K,其中K1，它接收⼀个向量

z=(z,…,z)∈RK,并计算输出