机器学习Softmax函数详解.docxVIP

Softmax 函数几乎是深度学习中的标配了 ，在人工神经网络中，几乎无处不可见 softmax 函数的身影。可以认为 softmax 是 arg max 操作的一种平滑近似。 我将 softmax 的用途总结为两种： 分类：给定一系列类别， softmax 可以给出某输入被划分到各个类别的概率分布。由于人工智能领域的许多问题都可以抽象成分类问题，所以 softmax 最广泛的应用当属分类； 寻址：由于 softmax 的输出是一种概率分布的形式， 可以用它来实现一种 软性的寻址 。近几年逐渐推广的 (软性)注意力机制就可以认为是一种软性寻 址的方式，根据各个键向量与查询向量的相似度从各个值