结合逻辑推断的无监督常识推理.pdfVIP

摘要

自人工智能诞生之初，常识推理就是该领域的一个重要的问题和公认的挑战。

常识推理问题的一种常见表现形式是单项选择题，其中一个示例包括一个问题和

若干选项，而这些选项只有一个是正确的。对于这类问题，基于语言模型的无监

督学习方法是一种常见的解决方案。然而，无监督学习方法在表现和可解释性方

面仍然存在不足。对此，一种思路是设计神经-符号框架下的无监督学习方法。但

是，在常识推理领域，神经-符号方法还较为少见，并且现有的方法存在适用范围

窄的问题。为此，本文通过三项工作证明了神经-符号框架下的无监督学习方法的

可行性，包括基于前缀和放缩参数的打分函数、基于排除法的推理方法以及基于

溯因生成的可解释的推理方法。本文的主要研究内容如下：

第一，对于语言模型在利用和表达知识方面的不足，即不能考虑到给定的选

项的其他表现形式，本文提出基于前缀的打分函数和基于放缩参数的打分函数。

二者通过引导模型关注选项代表的概念（即选项的语义）来缓解上述不足。其中，

前者在问题前添加一个前缀，后者对选项的分数（即正确的概率）进行放缩。实

验证明了这两个方法的有效性，而分析表明这两个方法还有向前兼容的能力。

第二，对于在神经-符号框架下，语言模型可能会错误地构造符号求解器的输

入的问题，本文提出排除法。排除法通过区别对待问题的不同选项，从而避免了

不加区别地处理所有选项的隐患。排除法是一个两步方法，其第一步识别出需要

排除的选项，第二步排除这些选项并从剩下的选项中做出选择。实验证明了排除

法的有效性，而分析表明排除法在各种场景下具有泛化性。

第三，对于前两项工作可解释性不足（包括隐式地利用语言模型的知识，以

及基础地应用神经-符号方法）的问题，本文提出溯因生成，一种可解释的推理方

法。溯因生成是一个两步方法。在第一步，溯因生成对于一个假设生成其否定以

及二者的解释，并对假设、否定和解释分别打分，因而同时显式和隐式地利用了

语言模型的知识。在第二步，溯因生成基于第一步的输出构造一个最大可解释性

问题，然后求解得到问题的答案。实验证明了溯因生成的有效性，而分析表明溯

因生成设计的合理性以及可能的不足。

关键词：常识推理，语言模型，无监督学习方法，神经-符号方法，最大可满足性

问题

ABSTRACT

Commonsensereasoninghasbeenanimportantproblemandwell-recognized

challengesincetheearlydaysofArtificialIntelligence.Commonsensereasoningis

commonlyexpressedasmultiplechoicequestions,inwhicheachsamplehasaquestion

andseveraloptions,amongwhichthereisonlyonecorrectoption.Forthesequestions,a

commonsolutionisunsupervisedmethodsbasedonlanguagemodels.Thesemethods,

however,sufferfromperformanceaswellasinterpretability.Oneapproachtothesetwo

problemsistodesignneuro-symbolicunsupervisedmethods.Nevertheless,therearefew

neuro-symbolicmethodsthattacklecommonsensereasoning,andmostofthemcanonly

beusedinconstrainedscenarios.Therefore,thisthesisstudiesthefeasibilityofneuro-

symbolicunsupervisedmethodsforcommonsensereasoning,includingprefixingand

reweighting-basedsco