深度学习损失函数大全.pdfVIP

深度学习损失函数大全

1.L1范数损失L1Loss

计算output和target之差的绝对值。

torch.nn.L1Loss(reduction=mean)

参数：

reduction-三个值，none:不使用约简；mean:返回loss和的平均值；su

m:返回loss的和。默认：mean。

2均方误差损失MSELoss

计算output和target之差的均方差。

•

torch.nn.MSELoss(reduction=mean)

参数：

reduction-三个值，none:不使用约简；mean:返回loss和的平均值；su

m:返回loss的和。默认：mean。

3交叉熵损失CrossEntropyLoss

当训练有C个类别的分类问题时很有效.可选参数weight必须是一个1

维Tensor,权重将被分配给各个类别.对于不平衡的训练集非常有效。

在多分类任务中，经常采用softmax激活函数+交叉熵损失函数，因为交

叉熵描述了两个概率分布的差异，然而神经网络输出的是向量，并不是概率

分布的形式。所以需要softmax激活函数将一个向量进行“归一化”成概率

分布的形式，再采用交叉熵损失函数计算loss。

•

torch.nn.CrossEntropyLoss(weight=None,ignore_index=-

100,reduction=mean)

参数：

weight(Tensor,optional)–自定义的每个类别的权重.必须是一个长

度为C的Tensor

ignore_index(int,optional)–设置一个目标值,该目标值会被忽略,

从而不会影响到输入的梯度。

reduction-三个值，none:不使用约简；mean:返回loss和的平均值；su

m:返回loss的和。默认：mean。

4KL散度损失KLDivLoss

计算input和target之间的KL散度。KL散度可用于衡量不同的连续

分布之间的距离,在连续的输出分布的空间上(离散采样)上进行直接回归时

很有效.

•

torch.nn.KLDivLoss(reduction=mean)

参数：

reduction-三个值，none:不使用约简；mean:返回loss和的平均值；su

m:返回loss的和。默认：mean。

5二进制交叉熵损失BCELoss

二分类任务时的交叉熵计算函数。用于测量重构的误差,例如自动编码机.

注意目标的值t[i]的范围为0到1之间.

•

torch.nn.BCELoss(weight=None,reduction=mean)

参数：

weight(Tensor,optional)–自定义的每个batch元素的loss的权

重.必须是一个长度为“nbatch”的的Tensor

6BCEWithLogitsLoss

BCEWithLogitsLoss损失函数把Sigmoid层集成到了BCELoss类中.

该版比用一个简单的Sigmoid层和BCELoss在数值上更稳定,