自然语言处理预训练模型演进脉络与技术图谱综述.docxVIP

自然语言处理预训练模型演进脉络与技术图谱综述

目录

一、文档概要．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

研究目的与任务．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

研究范围与方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

二、自然语言处理预训练模型概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

定义与分类．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

发展历程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

关键技术与算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

三、预训练模型在NLP中的应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

文本分类与聚类．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

机器翻译．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

情感分析与预测．