清华社课件人工智能基础及应用（Python微课版）第6.2 深度学习详解.pptVIP

另外，由于BERT预训练任务的设计，必须同时输入两条句子。因此，除词嵌入向量（tokenembedding）和位置嵌入向量外，如图11.27所示，BERT引入了段嵌入向量（segmentembedding）以区别两条句子，三者共同叠加得到输入的嵌入向量表示。*二是解码器模式：此类模型也称作自回归模型，只使用了解码器部分，且解码器-编码器注意力层被移除。预训练过程通常设计为迫使模型预测下一个单词，注意力层只能访问句子中给定单词之前的单词。这类模型最适合用于涉及文本生成的任务。生成式语言模型GPT系列如ChatGPT、文本生成图像模型DALL-E属于此类。*三是编码器-解码器模式：此类模型同时使用编码器和解码器模块，编码器的注意力层可以访问输入中的所有单词，而解码器的注意力层只能访问输入中给定单词之前的单词。此类模型最适合于根据给定输入生成新句子的任务，如摘要生成、翻译或生成式问答等。大型语言模型BART和T5、文本生成图像模型DeepFloydIF是这类模型的代表。T5（Text-to-TextTransferTransformer），是Google于2019年提出的一种解决NLP任务的范式。如图11.28所示，其将所有任务，如翻译、分类、语义相似度计算、问题回答等，都归纳到一个Text-to-Text（文本到文本）的统一框架里予以解决。T5沿用了Tr