面向问题生成的预训练模型适应性优化方法研究.pdfVIP

第卷第期中文信息学报,

363Vol.36No.3

年月,

20223JOURNALOFCHINESEINFORMATIONPROCESSINGMar.2022

文章编号:()

1003-0077202203-0091-10

面向问题生成的预训练模型适应性优化方法研究

,,,,

苏玉兰洪宇朱鸿雨武恺莉张民

(,)

苏州大学计算机科学与技术学院江苏苏州215006

:“,”。

摘要问题生成的核心任务是在给定上下文语境的前提下对目标答案自动生成相应的疑问句问题生成是

,。,

自然语言处理领域中富有挑战性的任务之一其对可靠的语义编码和解码技术有着极高的要求目前预训练语

,。,

言模型已在不同自然语言处理任务中得到广泛应用并取得了较好的应用效果该文继承这一趋势尝试将预训

“”,。

练语言模型UNILM应用于现有基于编码和解码架构的问题生成系统中并集中在其适应性问题上开展研究

“”“”,

该文针对预训练模型在解码阶段频繁出现的暴露偏差和掩码异构问题分别研究了基于随机抗噪和迁移学习

,。,

的训练方法借以提升UNILM在问题生成过程中的适应能力同时该文在SQuAD数据集上开展问题生成实

,,,

验实验结果证明随机抗噪和迁移学习都能优化UNILM的解码性能使之在答案可知场景的数据划分slit1和

p

,;

上分别将指标提升到和并在答案不可知场景的数据集上将指标提

slit2BLEU420.31%21.95%slit1BLEU4

pp

升到17.90%。

:;;;

关键词问题生成暴露偏差问答数据集迁移学习

中图分类号:TP391文献标识码:A

AdativeOtimizationMethodofPre-trainedLanuae

ppgg