基于预训练语言模型的中文摘要方法研究.pdfVIP

于 语 型 研 基 预训练 言模 的 中文摘要方法 究   摘 要 理 （ Ｎ ｔｕ ｕ ， ＮＬＰ 本摘 技术 自然 言处 ａ ｒａｌ ｌ ａｎ ａ ｅ ｒ ｏｃｅｓｓｉ ｎ ） 领域中 文 要 是 语 ｇ ｇ  ｐ ｇ 重 一 近 理 （ Ｎ ｔｕ ｕ 的 。 两年来， 练 言模 在 自 然 言 解 ａ ｒａｌｌ ａｎ ａ ｅ 要 部分 预训 语 型 语 ｇ ｇ Ｎ Ｕ Ｎ ｕｎｄｅｒｓｔａｎｄｉ ｎ ， Ｌ ） 任务中的成功应 ， 有力 推动 ＬＰ 技术的发展进程。 ｇ 用 地 了 ， ＢＥ Ｔ （ Ｂ ｔ ｔ ｔ  ｔ 其中 以 Ｒ ｉ ｄｉ ｒ ｅｃ ｉ ｏｎａｌ ｅｎｃ ｏｄｅｒ ｒｅ ｒｅｓ ｅｎ ａ ｉ ｏｎ ｆｒｏｍ ｒａｎｓ ｆｏｒｍｅｒｓ） 为代 的 ｐ 表 Ｎ Ｕ Ｌ 上 ， 预 练模型在 任务 有着得 独厚的 势 却 以 自然 言 成 训 天 优 难 应用于 语 生 （Ｎａｔ ｒ ａ ａｎ ａ ｅ ｅｎｅｒａｔ ｏｎ， ＮＬ 。 ， ｕ ｌｌ ｕ ｉ Ｇ） 任务 此 如何将预 练 言模型应 ｇ ｇ  ｇ 因 训 语 用 一 （ ｕ ｔ ｕ 本摘 任务 项挑战。 本课 在 析 序 序 Ｓｅ ｅ ｎｃｅ ｏｓ ｅ ｅｎｃｅ， 到文 要 是 题 分 了 列到 列 ｑ ｑ Ｓｅ ２Ｓｅ ） ， 编 器与解 器模 为框架， 研宄 练 言模 ｑ ｑ 问题之后 以 码 码 型 了预训 语 型对 影 ， 主 工 文本摘要任务的 响 要 宄 作如 ： 研 下 （ １ ） 目前基