知识增强型预训练语言模型在机器阅读理解中应用研究.pdfVIP

表格

{

边框‑collapse:

collapse;

}

表格,

th,

td

{

边框:

1px

solid

#000;

}

融合丰富知识增强预训练语言模型在机

器阅读理解中的应用

安洋1*，2，2，2，2，2†，佘巧巧2

和李素建1†

1北京大学计算语言学重点，

2公司，北京，

{yangan,

lisujian}@

{wangquan05,

liujing46,

liukai20,

lvyajuan,

wu

hua,

sheqiaoqiao}@

理解（MRC）是自然语言处理中关键且具性的任务。近期，预训练语言模

型（尤其是BERT）取得了显著成功，在MRC任务中创造了技术水准。本研究探索

利用外部知识库（KB）进一步提升BERT在MRC中的性能。我们提出KT‑NET模型，通

过注意力机制自适应地从知识库选择所需知识，并将选定知识与BERT融合以实现上下文

与知识感知的预测。这能结合深度语言模型与精编知识库的优势以优化MRC效果。实验

表明KT‑NET相较BERT取得显著且稳定的提升，在ReCoRD和SQuAD1.1基准测试中超

越竞争基线。值得注意的是，该模