一种注意力可解释的表格学习方法.pdfVIP

TabNet：一种注意力可解释的表格学习方法

¨

塞尔坎·奥·阿里克，托马斯·普菲斯特

摘要特别是在处理大型数据集时(Hestness等，2017）。此

外，与树学习不同，深度神经网络（DNNs）能够实现基

我们提出了一种新型的高性能且易于解释的经典深度表于梯度下降的端到端学习，这为表格数据带来了诸多优

格数据学习架构——TabNet。TabNet通过顺序注意力机

势：(i)高效地编码多种数据类型，如图像和表格数

制，在每个决策步骤中选择要推理的特征，这不仅提高

了学习效率，还增强了模型的可解释性，因为学习能力据；（ii）减少了对特征工程的需求，这是目前基于树

被用于识别最显著的特征。我们的研究表明，TabNet在的表格数据学习方法中的一个关键方面；（iii）支持

多种非性能饱和的表格数据集上表现优于其他变体，并从流式数据中学习，这一点尤为重要；（iv）端到端模

提供了可解释的特征归因及对其整体行为的洞察。最型允许进行表示学习，这使得许多有价值的应用场景成

后，我们展示了表格数据的自监督学习方法，当未标记为可能，包括数据高效的领域适应(Goodfellow等，

数据丰富时，这种方法显著提升了性能。2016）、生成建模(Radford等，2015）和半监督学习

(Dai等，2017）。

介绍我们提出了一种针对表格数据的新标准深度神经网

络架构——TabNet。其主要贡献可概括为：

深度神经网络（

DNNs）在图像处理(He等人，2015）、1.TabNet输入未经任何预处理的原始表格数据，并

文本处理(Lai等人，2015）和音频处理(Amodei等人，使用基于梯度下降的优化进行训练，从而能够灵活

2015）方面取得了显著成就。这些领域中，能够高效地地集成到端到端学习中。

将原始数据转化为有意义表示的经典架构推动了快速的2.TabNet通过顺序注意力机制，在每个决策步骤中选

发展。然而，表格数据这一类型的数据尚未通过经典架择要推理的特征，这不仅提高了学习效果，还增强

构实现类似的突破。了可解释性，因为学习能力被用于最显著的特征（

尽管表格数据是现实世界中人工智能中最常见的数据见图1）。这种特征选择是针对每个实例的，即每个

类型（因为它包含了所有分类和数值特征），但针对表输入可能有不同的选择，与Chen等人（2018）或

格数据的深度学习研究仍然不足，大多数应用仍主要依Yoon等人（2019）等其他实例级特征选择方法不

赖于集成决策树（DTs）的变体（Kaggle2019a）。为同，TabNet采用单一的深度学习架构来执行特征选

什么呢？首先，基于决策树的方法具有以下优势：(i)择和推理。

对于具有近似超平面边界的决策流形，这些边界在表格3.上述设计选择带来了两个重要的特性：(i)TabNet

数据中很常见，它们的表示效率高；（ii）基本形式下在不同领域的分类和回归问题上，无论是优于还是

高度可解释（例如，通过跟踪决策节点），并且对于集与其它表格