基于神经网络的问答系统中的开放域检索增强与阅读理解鲁棒性提升策略研究综述.docVIP

基于神经网络的问答系统中的开放域检索增强与阅读理解鲁棒性提升策略研究综述

开放域问答系统旨在回答任意领域的自然语言问题，其核心能力突破是近年来自然语言处理领域最受关注的研究方向之一。早期的问答系统多依赖结构化知识库和规则匹配，能够覆盖的问题范围极其有限，难以应对真实场景中知识动态更新、问题表述多样的挑战。随着预训练语言模型的兴起，端到端的神经网络问答系统在封闭域任务中取得了显著效果，但这类系统的知识完全存储在模型参数中，存在知识更新成本高、事实性错误频发、可解释性不足等固有缺陷。为突破这一瓶颈，检索增强生成（Retrieval-AugmentedGeneration,RAG）框架被广泛引入开放域问答场景，通过在回答生成阶段动态召回外部知识库的相关文档，既降低了模型hallucination问题的发生概率，也能够支撑对时效性知识、小众领域知识的问答需求。

当前开放域检索增强问答系统的技术栈可划分为三个核心模块：检索器、阅读器和生成器。检索器负责从大规模异构知识库中召回与问题语义匹配的候选文档，阅读器对召回的文档集进行语义理解和答案片段抽取，生成器则结合问题语义和文档信息生成流畅自然的回答文本。三个模块的性能共同决定了系统的整体表现，但在实际落地过程中，两类核心瓶颈逐渐凸显：一是开放域检索的召回精度难以适配复杂问题需求，二是阅读理解模块面对噪声输入、对抗样本和分布外问题时的鲁棒