第2章 2.3 编译网络.pptxVIP

编译网络;;网络的训练可以理解为拟合输入数据到真实标签的一个映射，通过某个函数计算真实标签和预测标签之间差异，该差异即为网络的损失Loss，计算差异的函数即为损失函数。

网络的损失是衡量网络好坏的一个主要指标。

同时，损失Loss必须是标量，因为向量无法直接比较大小（向量本身需要通过范数等标量来比较）。;L1范数损失（L1Loss）计算预测值和真实值之差的绝对值的平均数，常用于回归问题，L1Loss类的语法格式如下。

torch.nn.L1Loss(size_average=None,reduce=None,reduction=mean’)

L1Loss类的常用参数及其说明如表所示。

;平滑L1范数损失（SmoothL1Loss）在预测值和真实值之差的绝对值小于1时，取绝对值的平方的平均数；当绝对值大于1时，取L1范数损失，常用于回归问题。

SmoothL1Loss类的语法格式如下。

torch.nn.SmoothL1Loss(size_average=None,reduce=None,reduction=mean,beta=1.0)

SmoothL1Loss类常用的参数及其说明与L1Loss类的参数及其说明一致。

;平方损失函数（MSELoss）计算预测值和真实值之间的平方和的平均数，常用于回归问题。

torch.nn.MSELoss类的语法格式如下。

torch.nn.MSELoss(size_average=None,reduce=None,reduction=mean)

MSELoss类的常用参数及其说明与L1Loss类的参数及其说明一致。

;交叉熵损失函数（CrossEntropyLoss）刻画的是实际输出（概率）与期望输出（概率）分布的距离，交叉熵的值越小，两个概率分布就越接近，常用于分类问题中。

CrossEntropyLoss类的语法格式如下。

torch.nn.CrossEntropyLoss(weight=None,size_average=None,ignore_index=-100,reduce=None,reduction=mean’)

;CrossEntropyLoss类的常用的参数及其说明如表所示。

;二分类交叉熵损失函数（BCELoss）是交叉熵损失的二进制版，常用于二分类问题。

BCELoss类的语法格式如下。

torch.nn.BCELoss(weight=None,size_average=None,reduce=None,reduction=mean)

BCELoss类常用的参数及其说明与CrossEntropyLoss常用的参数及其说明一致。

;带逻辑回归的二分类交叉熵损失函数（BCEWithLogitsLoss）将Sigmoid激活函数集成到BCELoss类中，可以让计算数值更稳定，常用于分类问题。

BCEWithLogitsLoss类的语法格式如下。

torch.nn.BCEWithLogitsLoss(weight=None,size_average=None,reduce=None,reduction=mean,pos_weight=None)

BCEWithLogitsLoss类的常用参数及其说明与torch.nn.L1Loss类的常用参数及其说明一致。

;负对数似然损失函数（NLLLoss）的输入值是经过LogSoftmax函数处理后的逻辑回归值，常用于分类问题。

NLLLoss类的语法格式如下。

torch.nn.NLLLoss(weight=None,size_average=None,ignore_index=-100,reduce=None,reduction=mean)

NLLLoss类的常用参数及其说明与CrossEntropyLoss类的常用参数及其说明一致。

;泊松分布的负对数似然损失（PoissonNLLLoss）是输出的分类服从泊松分布时采用的损失函数，常用于分类问题。

PoissonNLLLoss类的语法格式如下。

torch.nn.PoissonNLLLoss(log_input=True,full=False,size_average=None,eps=1e-08,reduce=None,reduction=mean)

PoissonNLLLoss类的常用参数及其说明如表所示。

;KL散度损失（KLDivLoss）计算输入值和标签之间的KL散度。

KL散度可用于衡量不同的连续分布之间的距离，在连续的输出分布的空间上（离散采样）上进行回归时有不错的效果，常用于回归问题。

KLDivLoss类的语法格式如下。

torch.nn.KLDivLoss(size_average=None,reduce=