问答系统中的文本检索技术研究.pdf

摘要

随着互联网和数字化技术的发展，网络上的信息越来越多、数据规模越来越大，

传统的人工团队难以应对用户各种实时性的数据需求。为此智能问答系统应运而

生，近年成为自然语言处理领域的一个研究热点。文本检索是智能问答系统的关键

组成部分，其主要任务是搜索相似文本，如何进行高精度的语义匹配和相似文本检

索是关键问题。本文通过对问答系统中的文本检索技术进行调研，分析了现有工作

的不足，提出了相应的改进方法，论文的主要贡献如下：

1.在语义匹配方面，现有模型通常基于当前输入样本建模，对其他维度信息

挖掘不充分，导致在某些场景下语义匹配不准确。针对上述问题，本文提出了一种

基于多维度信息融合的语义匹配模型。在信息提取层，该模型从词维度、语义维度

和知识维度挖掘了与文本对相关的信息特征，在特征融合层，通过设计合适的特征

融合方法来计算综合性的匹配相似度。实验结果验证了本文模型挖掘的信息特征

的有效性，结果表明本文模型取得了较当前主流模型更好的性能，相对基线BERT

模型的F1值提升了4%左右。

2.在相似文本检索方面，针对检索阶段传统方法缺乏语义层面的信息以及排

序阶段考虑信息维度不充分的问题，本文提出了一种基于多维度信息融合的相似

文本检索算法。该算法在检索阶段结合了稀疏向量空间模型和密集检索，在排序阶

段使用本文提出的基于多维度信息融合的语义匹配模型。实验结果验证了检索或

排序阶段更好的性能会提升整个文本检索的准确率，结果表明本文算法的性能明

显优于基线方法，相对基线方法BM25+BERT在P@1指标上提升了7%左右。

3.设计并实现了一个面向银行业务的FAQ问答系统。该系统基于本文提出的

相似文本检索算法，使用分布式微服务的架构搭建，具有人机对话和知识库管理等

核心功能。通过接口测试验证了系统核心功能的可用性，通过压力测试验证了系统

的可靠性。最终通过搭建前端页面演示了该系统能够实时、准确地回答用户的问题，

能够简洁方便地管理知识库的数据。

本文提出了基于多维度信息融合的语义匹配模型和相似文本检索算法，获得

了比基线方法更优的性能。在此基础上设计和实现了一个面向银行业务的FAQ问

答系统，并测试了系统的核心功能及稳定性。

关键词：问答系统，文本检索，语义匹配，FAQ问答系统

ABSTRACT

Withthedevelopmentoftheinternetanddigitaltechnology,therearenumerousdata

transmittingonthenetworkanditisdifficultfortraditionalteamstomeetthevarious

real-timedataneedsofusers.Therefore,theintelligentquestionansweringsystem

launched,andithasattractedtheattentionofmanyresearchersinrecentyears.Text

retrievalisakeycomponentoftheintelligentquestionansweringsystem.Itsmaintaskis

tosearchforsimilartexts.Howtoperformhigh-precisionsemanticmatchingandsimilar

textretrievalarethekeyproblems.Throughtheinvestigationoftextretrievaltechnology

inquestionansweringsystem,thisthesisanalyzestheshortcomingsofexistingwork,and

proposescorrespondingimprovementmethods.Themaincontributionsofthethesisare

asfollows:

1.Intermsofsemanticmatching,thecu