2025年高频和好的面试题及答案.docxVIP

2025年高频和好的面试题及答案

Q：大模型微调时，如何选择LoRA、Adapter或全参数微调？实际项目中如何平衡效果与成本？

A：选择微调方法需结合模型规模、数据量及计算资源。LoRA（低秩自适应）通过冻结预训练参数，仅训练低秩矩阵，参数量增量约0.01%-3%，适合小数据场景（如垂类任务）；Adapter在每层插入可训练的瓶颈层，参数量增量约3%，更适合跨模态或复杂结构模型；全参数微调需释放所有参数梯度，适合数据量大（百万级以上）、任务与预训练目标差异大（如多轮对话提供）的场景。实际项目中，若预算有限但需快速验证，优先LoRA（如医疗问答场景，用10万条标注数据微调LLaMA-7B，模型收敛速度比全参数快40%）；若任务对上下文理解要求高（如法律文书提供），则用Adapter增强特定层的表征能力；仅当客户明确要求高精度（如代码提供需0错误率）且计算资源充足时，才考虑全参数微调（需8×A100训练3天以上）。

Q：多模态大模型中，如何解决文本与图像的对齐偏差？实际应用中遇到过哪些挑战？

A：对齐偏差主要源于模态语义粒度差异（文本是离散符号，图像是连续像素）和数据分布不一致（如训练集中“猫”的文本描述多为“宠物”，而图像可能包含“流浪猫”）。解决方法包括：1）跨模态对比学习，在损失函数中加入图文匹配（ITM）和图像文本检索（IRTR）任务，强制模型学习对齐特征（如BL