融合局部特征的多知识库常识问答模型.pdfVIP

ComputerEngineeringandApplications计算机工程与应用2024，60（12）129

融合局部特征的多知识库常识问答模型

田雨晴，汪春梅，袁非牛

上海师范大学信息与机电工程学院，上海201418

摘要：当前的多知识库融合常识推理模型的输入和特征组合的方式过于简单，导致模型丢失了一些与问题和答案

相关的重要信息，限制了融合外部知识的常识推理模型的效果。另外，在进行常识问答的任务时，预训练语言模型

输出的问题和答案表示存在的向量各向异性问题没有得到解决。这些问题都是导致常识问答推理性能不够高的因

素。针对以上问题，提出了一种基于局部特征融合的多知识库常识问答模型，改进外部知识库和问答文本的融合方

式。模型将局部的问题和答案特征融入预训练语言模型全局特征，以丰富模型的特征信息，并在预测层结合了多种

维度的特征进行预测；模型对于待匹配的问题和答案句子表示进行了白化处理，然后执行匹配任务。通过白化操

作，模型增强了句子表示的各向同性，提升了句子向量的表征能力；还探索了不同预训练编码器（如：ALBERT、

ELECTRA）在模型上的效果，以加强对知识文本的特征抽取能力，并证明了模型的稳定性。实验结果证明，在相同

BERT-base编码器的实验下，模型的准确率达到78.6%，相较于基线模型，准确率提升了3.5个百分点；在ELECTRA-base

编码器的实验下，模型的准确率达到80.1%。

关键词：常识问答；知识库融合；局部特征融合预测；向量白化

文献标志码：A中图分类号：TP18doi：10.3778/j.issn.1002-8331.2303-0080

Multi-KnowledgeBaseCommonSenseQuestionAnsweringModelBasedonLocalFeatureFusion

TIANYuqing,WANGChunmei,YUANFeiniu

SchoolofInformationMechanicalandElectricalEngineering,ShanghaiNormalUniversity,Shanghai201418,China

Abstract：Theinputandfeaturecombinationofthecurrentcommonsensereasoningmodelbasedonmulti-knowledge

basefusionistoosimple,resultinginthelossofsomeimportantinformationrelatedtoquestionsandanswers,whichlimits

theeffectofthecommonsensereasoningmodelintegratingexternalknowledge.Inaddition,duringthecommonsense

questionandanswertask,theproblemofvectoranisotropyintheoutputofthepre-traininglanguagemodelandthe

answerrepresentationhasnotbeensolved.Theseproblemsarethefactorsthatleadtothepoorreasoningperformanceof

commonsensequestionanswering.Tosolvetheaboveproblems,thispaperproposesamulti-knowledgebasecommon-

sensequestionansweringmodelbasedonlocalfeaturefusion,whichimprovesthefusionofexternalknowledgebases

andquestion-answertexts.Themodelintegratesthelocalquestionandanswerfeaturesintotheg