大模型面试题 .pdfVIP

免费分享

一、基础篇

1、目前主流的开源模型体系有哪些？

Transformer体系：由Google提出的Transformer

模型及其变体，如BERT、GPT等。

PyTorchLightning：一个基于PyTorch的轻量级深

度学习框架，用于快速原型设计和实验。

TensorFlowModelGarden：TensorFlow官方提供

的一系列预训练模型和模型架构。

HuggingFaceTransformers：一个流行的开源库，

提供了大量预训练模型和工具，用于NLP任务。

2、prefixLM和causalLM区别是什么?

prefixLM(前缀语言模型)：在输入序列的开头添加一个

可学习的任务相关的前缀，然后使用这个前缀

和输入序列一起生成输出。这种方法可以引导模型生成适

应特定任务的输出。