机器学习如何做好分布外异常检测.docxVIP

??

?

??

机器学习如何做好分布外异常检测

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

?

?

对于机器学习而言，区分异常数据或有显著差异数据至关重要。谷歌在NeurIPS2019论文中提出并发布了针对基因组序列OOD检测的现实基准数据集，进而提出一种基于似然比的解决方案，可显著提高OOD检测的准确性。AI科技评论将谷歌对该方法的官方解读编译如下。

深度学习科学家要成功部署机器学习系统，需要系统能够区分出异常数据或与训练中使用的数据有显着差异的数据。

由于深度神经网络分类器可能会将以高置信度将分布外（ODD）的输入分类到分布内的类别中，因此区分异常数据或有显著差异数据是十分重要的。当我们利用这些预测为现实决策提供依据时，异常数据检测将尤为重要。

例如，将机器学习模型应用于基于基因组序列的细菌检测，就是一项具有挑战性的现实应用。细菌检测对于败血症等传染病的诊断和治疗，以及食源性病原体的鉴定都非常关键。

近些年来，随着新细菌种类不断被发现，虽然基于已知分类训练的神经网络分类器通过交叉验证达到了很高的测量准确性，但部署模型仍具有高的挑战性，因为现实数据在不断进化发展，并且将不可避免地包含以往训练数据中从未出现过的基因组（OOD输入）。

图1近些年来，随着新的细菌种类逐渐地被发现。将已知的分类数据输入基于已知分类数据训练的分类器能够达到很高的准确性，这是因为输入的分类数据是已知的，但它可能将已知分类数据中混合了未知分类数据（如：ODD数据）的输入进行错误的分类，并且具有很高的置信度。

在NeurIPS2019发表的论文《分布外检测的似然比》（LikelihoodRatiosforOut-of-DistributionDetecTIon）中，谷歌受到上述新细菌种类检测这类现实问题的启发，提出并发布了针对基因组序列OOD检测的现实基准数据集。

论文地址：/abs/1906.02845

实现代码GitHub地址：/google-research/google-research/tree/master/genomics_ood

他们利用基于基因组序列的生成模型测试了OOD检测的现有方法，发现似然值——即输入来自使用分布不均数据进行估算的分布数据的模型概率——通常是错误的。在最近的图像深度生成模型研究工作中，他们也观察到了这种现象，并通过统计背景影响来解释这种现象，进而提出一种基于似然比的解决方案，可以显著地提高OOD检测的准确性。

一、为什么密度模型无法应用于OOD检测？

为了模拟实际问题并系统地评估不同的方法，他们建立了一个新的细菌数据集，使用的数据来自美国国家生物技术信息中心（NCBI）对外开放的原核生物目录基因组序列数据。

为了模拟测序数据，他们将基因组片段化为当前测序技术通常使用的250个短序列长度的碱基对。然后，其将分布内和分布外的数据按发现日期进行分离，以便截止时间之前被发现的细菌种类被定义在分布内，在之后发现的被定义为分布外（OOD）。

然后，他们基于分布内的基因组序列训练深度生成模型，通过绘制似然值曲线，检验模型辨别输入的分布内和分布外数据的能力。OOD序列似然值的直方图与分布内序列似然值高度重合，则表明生成模型无法区分在两个种类之间进行的OOD检测结果。

在图像深度生成模型的早期研究中（相关阅读参考：/abs/1810.09136）也得到了类似的结论。例如，利用Fashion-MNIST数据集（由衣服和鞋类的图像组成）训练PixelCNN++模型，比来自MNIST数据集（包括数字0-9的图像）的OOD图像分配了更高的似然值。

图2左：分布内和分布外（OOD）基因组序列的似然值直方图。似然值未能分辨出分布内和OOD基因组序列。右：Fashion-MNIST数据集训练模型、MNIST数据集估计的似然值直方图。模型在OOD（MNIST）图像上比在分布内图像分配了更高的似然值。

在研究这种失败模型时，他们观察到背景统计可能影响了似然值的计算。为了更直观地理解该现象，假设输入由两个部分组成：（1）以背景统计为特征的背景成分，（2）以指定于分布内数据专用的模式为特征的语义成分。

例如，可以将MNIST图像建模为背景加语义。当人类解读图像时，可以轻松地忽略背景信息而主要关注语义信息，例如下图中的“/”标记。但是当为图像中的所有像素计算似然值时，计算结果中同时包括了语义像素和背景像素。虽然他们只需使用语义的似然值进行决策，但原始的似然值结果中可能大多数都是背景成分。

图3左上：Fashion-MNIST的示例图像。左下：MNIST的示例图像。右：MNIST图像中的背景和语义成分。

二、O