10_端侧AI硬件AI_PC与手机NPU的技术演进.docxVIP

端侧AI硬件：AIPC与手机NPU的技术演进与应用落地

随着AI大模型的爆发，算力正在从云端，快速下沉到端侧。过去，我们的AI任务，都要把数据传到云端，处理完再传回来，不仅延迟高，隐私也没有保障。而现在，端侧的AI硬件，已经可以在本地，运行百亿甚至千亿参数的大模型，实现毫秒级的响应，数据不离开设备，隐私得到了彻底的保护。这一场端侧的算力革命，正在重构整个AI的产业格局，从手机到PC，从NPU的架构，到应用的落地，都在发生着深刻的变革。

一、端侧算力的分层：从iNPU到dNPU的演进

端侧的场景，非常的分散，不同的场景，对算力的需求，天差地别。所以，端侧的算力，也形成了清晰的分层，从低到高，分别适配不同的需求。

首先，低算力场景，也就是算力小于10TOPS的场景，比如智能家电、入门级的平板，这些场景，只需要简单的语音助手、图像识别，所以，SOC集成的iNPU，就是最优的方案。它把NPU，集成在SOC里面，成本低，功耗低，完美适配这些场景。比如瑞芯微的RK3588，全志的V853，都是这一类的代表，它们的NPU，集成在SOC里，功耗只有几瓦，成本只有几十块钱，非常适合消费级的低端场景。

然后，中算力场景，也就是10-50TOPS的场景，比如边缘的推理、中端的AIPC，这些场景，需要跑7B的大模型，或者多模态的模型，这时候，独立的dNPU，就成为了最优的方案。独立的NPU，有自己独立