人工智能 关键基础技术 面向边缘设备的大模型推理加速框架技术要求标准化发展研究报告.docx

面向边缘设备的大模型推理加速框架技术要求

TechnicalRequirementsforLargeModelInferenceAccelerationFrameworksforEdgeDevices

摘要

——IndustryStandardizationDevelopmentReport摘要随着人工智能技术的迅猛发展，大语言模型（LargeLanguageModel,LLM）和视觉大模型（VisionFoundationModel,VFM）等基础大模型在自然语言处理、计算机视觉、多模态理解等领域的应用日益广泛。然而，大模型推理过程中高昂的计算