大模型技术与应用（微课版）课件 04 大模型训练推理技术.pptx

大模型推理技术

学习目标知识目标理解推理的工作流程。了解常见的推理框架。掌握模型量化的基本原理。掌握知识蒸馏的基本原理。掌握模型剪枝的基本原理。掌握稀疏激活的基本原理。技能目标能够配置并运行大模型推理实验。能够应用知识蒸馏等模型压缩技术进行模型优化。能够对推理性能进行评估和可视化分析。

情景引入：智能客服的实时响应挑战在智能客服领域，实时对话系统已成为企业提供高效服务的核心通道。当用户提出“请根据我的产品使用记录、历史工单和最新促销政策，为我规划下季度的优化方案”这类复杂请求时，系统需快速整合多源信息并生成专业建议。传统模型难以兼顾响应速度与准确性，且缺乏对多源信息整合与复杂语义的深度理解