融合干预与反事实的知识感知型去偏推理模型.pdfVIP

计算机科学与探索1673-9418/2024/18(12)-3288-12

JournalofFrontiersofComputerScienceandTechnologydoi:10.3778/j.issn.1673-9418.2403018

融合干预与反事实的知识感知型去偏推理模型

12,3+2

孙圣杰，马廷淮，黄凯

1.南京信息工程大学计算机学院，南京210044

2.南京信息工程大学软件学院，南京210044

3.江苏海洋大学计算机工程学院，江苏连云港222005

+通信作者E-mail:thma@

摘要：溯因自然语言推理任务旨在根据给定前提事件和结果事件选择更加合理的假设事件。针对推理过程

中由中介变量与混杂变量导致的“逻辑缺陷”与“单句标签泄露”偏差问题，提出一种基于干预与反事实原理推

理模型（KDIC）。该模型中包含了中介变量调节器、单句假设偏差、外部知识融合三个模块。中介变量调节器

由因果图干预与假设对比学习组成。因果图干预旨在基于给定事件构建一个因果图，基于注意力机制和图卷

积网络提取中介变量指导深度网络编码，去捕获未观察事件的潜在特征。同时，引入假设对比学习，激励模型

主动区分影响假设判断的关键因素并弥补“逻辑缺陷”。基于反事实问题构建单据假设偏差模块，以主动识别

“单句标签泄露”带来的推理偏差，减少模型对假设中某些特定词汇或短语的依赖。采用预训练常识知识图谱

编码器ComET引入外部知识，确保模型全面理解观察事件发生的动机和可能结果，增强事件间的整体逻辑性。

在αNLI数据集上进行了实验，证明KDIC的推理能力仅次于基于自监督训练得到的Electra-large-discriminator，

但KDIC具有更强的鲁棒性以缓解推理过程中的偏差。

关键词：自然语言推理；去偏推理；干预；反事实

文献标志码：A中图分类号：TP181

Knowledge-AwareDebiasedInferenceModelIntegratingInterventionandCounter-

factual

12,3+2

SUNShengjie,MATinghuai,HUANGKai

1.SchoolofComputerScience,NanjingUniversityofInformationScienceTechnology,Nanjing210044,China

2.SchoolofSoftware,NanjingUniversityofInformationScienceTechnology,Nanjing210044,China

3.SchoolofComputerEngineering,JiangsuOceanUniversity,Lianyungang,Jiangsu222005,China

Abstract:Theabductivenaturallanguageinferencetask(AbductiveNLI)seekstoselectmoreplausiblehypotheti-

caleventsbasedongivenantecedenteventsandconsequentevents.However,inherentbiasessuchas“logicalde-

fects”and“single-sentencelabelleakage”stemmingfrommediatorandconfoundingvariablesintheinferencepro-

cessposechallenge.Toaddresstheseissues,thispaperproposesanovelknowledge-awaredebiasedinferencemodel

integratinginterventionandcounterfactual(KDIC).Themodelcomprisesthreekeymod