特征选择在 Tsetlin 机器中的比较研究.pdfVIP

特征选择在Tsetlin机器中的比较研究

111

VojtechHalenka,Ole-ChristofferGranmo,LeiJiao,andPer-Arne

Andersen1

DepartmentofICT,UniversityofAgder,Grimstad,Norway

{vojtech.halenka,ole.granmo,lei.jiao,per.andersen}@uia.no

AUCareaundercurve

FSFeatureSelection

NNNeuralNetwork

本DNNDeepNeuralNetwork

译TATsetlinautomaton

中TATTsetlinautomatonteam

1TMTsetlinmachine

v

1ROARRemoveandRetrain

9ROADRemoveandDebias

9

6

0

.Abstract.cro:FSFeatureSelection(FS)对提高模型可解释性、减少复杂

8

0性和有时提高准确性至关重要。最近引入的cro:TMTsetlinmachine(TM)

5提供了基于子句的可解释学习，但缺乏评估特征重要性的成熟工具。在本

2文中，我们改编并评估了一系列用于TMs的FS技术，包括经典过滤方法

:

v和嵌入式方法以及最初为神经网络开发的事后解释方法（例如SHAP和

i

xLIME）以及源自TM子句权重和cro:TATsetlinautomaton(TA)状态的一

r

a系列新型嵌入评分器。我们在12个数据集上对所有方法进行了基准测试，

使用了如cro:ROARRemoveandRetrain(ROAR)策略和cro:ROADRemove

andDebias(ROAD)等评估协议来评估因果影响。我们的结果显示，TM

内部评分器不仅表现出竞争性性能，而且还利用子句的可解释性揭示交互

特征模式。更简单的TM特定评分器在计算成本小得多的情况下也达到了

类似的准确性保留。本研究建立了FS在TM中的首个全面基线，并为开

发专门的TM特定可解释性技术铺平了道路。

1介绍

机器学习模型通常受益于FS来识别最有信息量的输入特征，这可以提

高泛化能力和可解释性。在cro:DNNDeepNeuralNetwork(DNN)中，存在

一系列方法来评估特征重要性（例如SHAP、LIME）[1,2]。然而，TM——

一种基于逻辑的学习算法使用cro:TATTsetlinautomatonteam(TAT)——

尚未看到此类可解释性辅助工具的类似发展。TM在各种任务上实现了具有

竞争力的准确性，同时生成人类可读规则[3]，但仍存在如何最好地辨别哪

些输入特征驱动其决策的问题。

FS对于TMs检