人工智能通识应用基础课件 项目七 3：大模型3.pptxVIP

项目七大模型（部署、训练、微调）

项目概述项目知识要点知识能力目标学时本项目聚焦大模型的技术本质与实践落地，系统梳理大模型的定义、架构原理、关键技术，结合ChatGLM系列模型的部署案例。1初识大模型2大模型核心原理3大模型关键技术4大模型部署【技能要求】1能独立完成大模型的环境配置与部署。2能运用关键技术解决大模型应用中的训练效率、推理速度等问题。3具备大模型适配特定场景的微调能力。【知识要求】1理解大模型的定义、核心特征与发展历程。2掌握Transformer架构及变体原理。3熟悉大模型训练优化、高效推理与参数微调技术。2项目实训大模型部署应用实践2项目知识要点与目标

7.3大模型关键技术数据并行：数据并行是最基础的分布式训练方式，其核心逻辑是将训练数据划分为多个子集，每个计算节点（如GPU）持有完整的模型副本，并独立计算各自数据子集上的梯度。在完成计算后，通过AllReduce等通信算法，将各节点的梯度进行汇总平均，再同步更新所有节点的模型参数。以训练BERT模型为例，若有4个GPU，将训练数据等分为4份，每个GPU分别计算各自数据上的损失函数与梯度。这种方式适用于模型参数量较小，且计算节点内存足以容纳完整模型的场景，能够显著提升训练速度。1.训练工程优化义（1）分布式训练技术

模型并行：当模型规模庞大，单个计算节点的显存无法容纳完整模型时，模