AI推理引擎，全球前19强生产商排名及市场份额（by QYResearch）.pdfVIP

全球市场研究报告

定义与范畴

AI推理引擎是指一类专门设计用于执行已训练完成的人工智能模型、对新输入数据进行实时分析并输出预

测结果的软件系统或软硬协同平台。AI推理引擎与AI训练系统在功能定位上存在本质区别：训练系统侧重

于从海量数据中学习模式和规律，这是一个计算密集度高、对延迟不敏感但需要较高精度的过程；而推理引

擎则侧重于将已经训练好的模型应用于实际场景，其核心追求是在有限的算力资源和严格的延迟约束下，

以较低的成本和较快的速度产出结果。二者在技术架构上的这种分工差异，决定了推理引擎在软件层面的

模型压缩与加速算法、硬件层面的专用加速芯片等方面有着不同于训练系统的优化方向。

从产品形态来看，AI推理引擎可以按照部署位置和计算模式分为几个大类。云侧推理引擎部署在数据中心，

利用强大的服务器集群来处理大规模、高并发的推理请求。边缘推理引擎则部署在靠近数据源的设备端，如

工厂生产线、零售门店或交通路口，对网络延迟较为敏感的实时应用场景更为适用。终端推理引擎则是直接

运行在手机、智能家居设备、汽车等终端设备上的轻量级推理系统，对芯片功耗和计算效率要求较高。

从技术架构来看，AI推理引擎形成了清晰的软硬件分层结构。硬件层包括GPU、ASIC、FPGA等专用芯片；

软件层涵盖模型转换器、推理运