半导体行业跟踪报告之二十-边缘算力SoC：AIoT智能终端的大脑，端侧算法部署的核心.pdfVIP

电子行业

2、边缘算力应用和端侧AI算法部署需求巨大

AI将提升社会劳动生产率，特别是在有效降低劳动成本、优化产品和服务、创

造新市场和就业等方面为人类的生产和生活会带来革命性的转变。可以认为，

AI是一个重要的生产力工具，AI通过与各行各业结合，赋能各行各业。在自动

驾驶、智能家居、安防监控、机器人、医疗设备、智慧课堂等新兴行业中，人工

智能的技术创新和应用落地是行业智能化的推手。此外，AI交互、AI创作等应

用场景发展迅速，如自然语言处理工具ChatGPT的问世，有望进一步推动行

业智能化程度不断提升。

AI技术必须具备三个要素：算法、数据、算力。

（1）数据：AI蓬勃发展主要是得益于大数据的累积以及AI专用算力的大幅增

强。

（2）算力：过去10年，AI领域主要的算力载体是以国外芯片厂商提供的GPU

设备为主，广泛应用于与AI相关的云端产品。而端侧嵌入式AI算力载体从CPU、

GPU、DSP发展到ASIC架构，推动了基于深度学习的语音识别、人脸识别、图

文识别、AIGC、目标检测、超分辨率、ADAS等技术的广泛应用。

（3）算法：模型算法架构持续迭代，Transformer神经网络结构逐渐成为自然

语言处理领域的主流，如ChatGPT是其应用之一，主要用于云端产品，各算法

厂商开始尝试应用到端侧产品，对端侧算力性能提出了更高的要求，这将推动

AI算力的发展。从AI算法模型到端侧AI部署应用的落地，需要解决很多技术问

题，如模型转换、量化、推理框架、算子融合、算子适配（自定义算子开发）等

等。这不仅需要性能优越的算法模型以及可靠的高性能低消耗（低带宽低内存低

功耗）硬件加速器，还需要通过AI编译器把算法模型转化成硬件设备能识别的

表达式进行算法部署，再应用到具体的应用场景，满足用户的体验需求。在算法

部署过程，算法开发应用算子级API和网络级API、支持量化感知训练模型导入

等加速算法开发效率和应用落地效率。

CPU是通用处理器，设计用于执行广泛的计算任务。它具有强大的灵活性和可

编程性，但可能在特定任务（如AI计算）上效率不高。GPU最初设计用于处理

图形和视频渲染，它擅长处理并行计算任务，因此在AI领域也得到了广泛应用。

然而，GPU并非专门为AI计算设计，它在处理某些类型的AI任务时可能不如

NPU高效。CPU是线性、串行任务（指令）执行，效率较低，通用性较高；GPU

是并行处理和专用图形并行处理，效率更高；而NPU则是“并行认知处理”，

在AI机器学习方面，效率更高。

敬请参阅最后一页特别声明