大模型面试题-1-大模型（LLMs）基础面.pdf

大模型（LLMs）基础面

来自：AiGC面试宝典

2023年09月28日21:50

1目前主流的开源模型体系有哪些？

目前主流的开源模型体系分三种：

•第一种：prefixDecoder系

•介绍：输入双向注意力，输出单向注意力

•代表模型：ChatGLM、ChatGLM2、U-PaLM

•第二种：causalDecoder系

•介绍：从左到右的单向注意力

•代表模型：LLaMA-7B、LLaMa衍生物

•第三种：Encoder-Decoder

•介绍：输入双向注意力，输出单向注意力

•代表模型：T5、Flan-T5、BART

2prefixDecoder和causalDecoder和Encoder-Decoder区别是什么？

prefixDecoder和causalDecoder和Encoder-Decoder区别在于attentionmask不同：

•Encoder-Decoder：

•在输入上采用双向注意力，对问题的编码理解更充分

•适用任务：在偏理解的NLP任务上效果好

•缺点：在长文本生成任务上效果差，训练效率低；

•causalDecoder：

•自回归语言模型，预训练和下游应用是完全一致的，严格遵守只有后面的token才能看到前面的

token的规则；

•适用任务：文本生成任务效果好

•优点：训练效率高，zero-shot能力更强，具有涌现能力

•prefixDecoder：

•特点：prefix部分的token互相能看到，causalDecoder和Encoder-Decoder折中；

•缺点：训练效率低

3大模型LLM的训练目标是什么？

1.语言模型

根据已有词预测下一个词，训练目标为最大似然函数：

训练效率：PrefixDecoderCausalDecoder

CausalDecoder结构会在所有token上计算损失，而PrefixDecoder只会在输出上计算损失。

1.去噪自编码器

随机替换掉一些文本段，训练语言模型去恢复被打乱的文本段。目标函数为:

去噪自编码器的实现难度更高。采用去噪自编码器作为训练目标的任务有GLM-130B、T5.

4涌现能力是啥原因？

根据前人分析和论文总结，大致是2个猜想：

•任务的评价指标不够平滑；

•复杂任务vs子任务，这个其实好理解，比如我们假设某个任务T有5个子任务Sub-T构成，每个sub-T随

着模型增长，指标从40%提升到60%，但是最终任务的指标只从1.1%提升到了7%，也就是说宏观上看到

了涌现现象，但是子任务效果其实是平滑增长的。

5为何现在的大模型大部分是Decoderonly结构？

因为decoder-only结构模型在没有任何微调数据的情况下，zero-shot的表现能力最好。而encoder-decoder则

需要在一定量的标注数据上做multitask-finetuning才能够激发最佳性能。

目前的LargeLM的训练范式还是在大规模语料shang做自监督学习，很显然zero-shot性能更好的decoder-only架

构才能更好的利用这些无标注的数据。

大模型使用decoder-only架构除了训练效率和工程实现上的优势外，在理论上因为Encoder的双向注意力会存在

低秩的问题，这可能会削弱模型的表达能力。就生成任务而言，引入双向注意力并无实质的好处。而Encoder-

decoder模型架构之所以能够在某些场景下表现更好，大概是因为它多了一倍参数。所以在同等参数量、同等推

理成本下，Decoder-only架构就是最优的选择了。

6简单介绍一下大模型【LLMs】？

大模型：一般指1亿以上参数的模型，但是这个标准一直在升级，目前万亿参数以上的模型也有了。大语言模型

（LargeLanguageModel，LLM）是针对语言的大