大型语言模型主要类别与架构概览.pdf

LLM主要类别架构介绍

学习目标

了解LLM主要类别架构.

掌握BERT、GPT、T5等模型原理

1.LLM主要类别

LLM本身基于transformer架构。自2017年,attentionisallyouneed诞生起,原始的transformer模型为不同领域

的模型了灵感和启发。基于原始的Transformer框架,衍生出了一系列模型,一些模型仅仅使用encoder或

decoder,有些模型同时使用encoder+decoder。

LLM分类一般分为三种:自编码模型(encoder)、自回归模型(decoder)和序列到序列模

文档评论(0)

1亿VIP精品文档

相关文档