BERT：BERT预训练任务详解.docxVIP

PAGE1

PAGE1

BERT：BERT预训练任务详解

1BERT：BERT预训练任务详解

1.1BERT简介

1.1.11BERT的诞生背景

BERT，全称为BidirectionalEncoderRepresentationsfromTransformers，是Google在2018年提出的一种基于Transformer的预训练模型。在BERT出现之前，自然语言处理（NLP）领域主要依赖于词嵌入（如Word2Vec、GloVe）和基于上下文的词嵌入（如ELMo）。然而，这些方法在处理语言理解任务时存在局限性，尤其是它们无法有效捕捉到词的多义性以及词在不同上