大模型面试题-31-大模型（LLMs）推理面.pdf

大模型（LLMs）推理面

来自：AiGC面试宝典

宁静致远2023年10月22日22:43

•大模型（LLMs）推理面

•1.为什么大模型推理时显存涨的那么多还一直占着？

•2.大模型在gpu和cpu上推理速度如何？

•3.推理速度上，int8和fp16比起来怎么样？

•4.大模型有推理能力吗？

•5.大模型生成时的参数怎么设置？

•6.有哪些省内存的大语言模型训练/微调/推理方法？

•6.1如何估算模型所需的RAM？

•6.2Fp16-mixedprecision

•6.3Int8-bitsandbytes

•6.4LoRA

•6.5GradientCheckpointing

•6.6TorchFSDP+CPUoffload

•7.如何让大模型输出合规化

•8.应用模式变更

•9.模型输出的分布比较稀疏，怎么处理？

1.为什么大模型推理时显存涨的那么多还一直占着？

1.首先，序列太长了，有很多Q/K/V；

2.其次，因为是逐个预测nexttoken，每次要缓存K/V加速解码。

2.大模型在gpu和cpu上推理速度如何？

7B量级下：

•cpu推理速度约10token/s；

•单卡A6000和8核AMD的推理速度通常为10:1。

3.推理速度上，int8和fp16比起来怎么样？

根据实践经验，int8模式一般推理会明显变慢（huggingface的实现）

4.大模型有推理能力吗？

大模型有推理能力。有下面2个方面的体现：

ChatGPT拥有in-contextcorrection的能力，即如果说错了，给出矫正，ChatGPT能“听懂”错在哪儿了，并向正确

的方向修正。in-contextcorrection要比in-contextlearning难了太多，描述越详细清楚，ChatGPT回答得越好。

要知道，越详细的描述，在预训练的文本里越难匹配到的。

在询问ChatGPT互联网上并不存在内容的时候，能给出较好答案（如用ChatGPT学建模）；ChatGPT能通过信

息猜你心中的想法；你可以制定一个全新的游戏规则让ChatGPT和你玩，ChatGPT可以理解。

5.大模型生成时的参数怎么设置？

生成模型预测调参建议：

建议去调整下top_p,num_beams,repetition_renalty,temperature,do_sample=True;

数据生成有重复，调高repetition_renalty；

生成任务表达单一的，样本也不多的，可适当调低temperature，生成的样子跟训练集的比较像；如果要复现训

练集的效果，temperature=0.01即可。

以上是经验参数，具体调参根据任务而定，不是固定的。

•参数解释：

top_p0.9,

#Moderatelyincreasetheprobabilitythresholdofnucleussamplingtoincreasethe

quantityofcandidatetokensandincreasegenerationdiversity.

temperature1.0,

#Thepreviouslowtemperatureparametercouldleadtoaseverepolarizationinthe

probabilitydistributionofgeneratedwords,whichdegeneratesthegeneration

strategyintogreedydecoding.

do_sampleTrue,

#do_sampleparameterissettoFalsebydefault.AftersettingtoTrue,the