华为认证 AI 人工智能实战-第8章：模型压缩与推理加速（昇腾原生优化）.pptxVIP

华为认证AI人工智能实战训练营【HCIE】第8章：模型压缩与推理加速（昇腾原生优化）

本章目录01引言：为什么需要模型压缩？从云端到端边：AI应用部署的挑战02模型压缩四大核心技术模型剪枝·模型量化·知识蒸馏·神经网络架构搜索(NAS)03昇腾推理引擎(ATC)与实战?ATC工具工作流程与核心参数配置

?实战：ResNet50量化部署与性能优化04总结与任务?常见问题排查与解决方案汇总

?本章知识总结与课后实操任务

为什么需要模型压缩与推理加速？随着AI模型规模呈指数级增长，将其部署到手机、汽车、工业控制等资源受限的边缘设备时，往往面临严峻挑战：计算资源受限边缘设备算力远低于云端，难以支撑大模型运算内存与存储限制模型体积动辄数GB，边缘端存储空间难以容纳功耗与能效瓶颈持续高负载计算导致设备续航缩短，发热严重低延迟实时性要求自动驾驶、工业控制等场景，要求毫秒级快速响应核心目标：平衡模型性能(精度)·推理效率(速度/功耗)·部署成本(硬件/运维)“让强大的AI模型，在有限的边缘设备上

跑得更快、更稳、更持久”

PART01模型压缩四大核心技术深度解析CORETECHNIQUESOFMODELCOMPRESSION

模型剪枝(Pruning):为模型“瘦身”核心思想：识别并移除神经网络中对最终结果“贡献甚微”的权重、神经元或通道，在保持模型性能的