在英飞凌 ModusToolbox™ 环境中使用 Arm® Ethos™-U55 NPU 实现机器学习应用.docx

白皮书

在英飞凌ModusToolbox?环境中使用Arm?Ethos?-

U55NPU实现机器学习应用

摘要

机器学习(ML)模型需要强大的计算资源来进行训练和推理，因此，它们通常在可以进行大算力数据处理的PC或云服务器上运行。然而，在计算机架构的革命性发展和软件工具的突破性进步的引领下，嵌入式系统Al和ML应用正在经历转型期。ML应用和场景正迅速扩展到物联网和嵌入式系统领域。当视频和图像等数据利用深度学习ML模型时，这些应用需要高处理能力的运算单元和大量的内存。为了支持这些场景，有必要使用诸如Arm?Ethos?-U55等神经网络协处理器(NPU)来增强处理器的性能。

能耗效率和低成本是嵌入式ML应用的关键标准。除增强处理能力之外，还需要降低系统功耗和提供高效的软件开发环境。开发环境涵盖了用于模型开发、训练和部署的工具和优化器。

英飞凌的PSoC?Edge平台及其ModusToolbox?软件开发环境可以更好地利用平台硬件资源进行CPU密集型嵌入式ML推理。

目录

摘要 1

PSoC?EdgeMCU 3

Ethos?-U55NPU 4

使用Ethos?-U55NPU的优点 5

ML性能提升 5

CPU负荷率 6

功耗 7

Ethos?-U55NPU加速流程 7

ModusToolbox? 8

ModusToolbox?ML 9

ModusToolbox?ML软件架构 10

运行时软件流程 11

Cortex?-M55CPU与Ethos?-U55NPU通信 12

3.5工具 13

ML配置程序 13

MLCoreTools 13

Vela编译器 13

ML应用 14

5结语 15

参考文献 16

PSoC?EdgeMCU

PSoC?EdgeMCU是一个高性能、低功耗MCU产品系列，这些产品专为提升计算性能、人机界面(HMI)、机器学习(ML)、增强传感、实时控制和低功耗应用而设计。

这个产品系列中的双CPU微控制器都具备神经网络协处理器、DSP功能，并支持高性能内存扩展能力(OSPl)、可进行高性能模数转换的低功耗模拟子系统和低功耗比较器等。这些产品还提供了物联网连接、通信接口、可编程模拟和数字模块，以及音频和图形模块等。

ModusToolbox?开发环境包括可安装的SDK和库、Arm?行业标准工具、RTOS支持以及性能稳健且易于使用的ML和HMI软件和工具。支持的功能包括安全、通信和控制以及DSP功能。多域架构实现了细粒度功耗优化以及动态频率和电压按比例调节。

PSoC?Edge的常开域模块支持语音识别、触摸唤醒、电池监测和其他传感应用。提供这些功能仅需极低功耗。

PSoC?Edge高性能域系统级架构如图1所示。

图1PSoC?Edge高性能域系统架构

Ethos?-U55NPU

Ethos?-U55是第一代与Cortex?-M处理器兼容的microNPU。Ethos?-U55可支持以前不可能实现的新一代TinyML应用。使用它，仅需很小芯片面积和很低功耗即可实现神经网络加速推理计算。相比于单独使用Cortex?-M处理器，Cortex?-M55和Ethos?-U55组合起来可将ML性能提升至最高400倍。

凭借其内置Helium矢量处理扩展，Cortex?-M55能够在嵌入式微控制器平台上运行ML模型，而通过与Ethos?-U55microNPU集成，它还可以提供比前几代Cortex?-M处理器系列更出色的ML性能。采用相同软件堆栈的Ethos?-U55可将Cortex?-M55系统的ML性能提高至最多30倍。

图2所示为Ethos?-U55系统架构图

图2Ethos?-U55系统架构

Ethos?-U55NPU亮点概览：

内存占用空间小且效率最高

集成可配置MAC引擎（32位、64位、128位、256位），可满足卷积、深度池

化、矢量乘积以及最大池化所需的操作等要求。PSoC?Edge为Ethos?-U55配置了128位MAC

权重解码器和DMA用于动态权重解压缩

支持用于模型优化的离线工具

支持最常见的ML网络操作，包括CNN和RNN，并可灵活支持未来的ML创新

中央控制(CC)执行工作单元队列并调度至DMA控制器、权重解码器、MAC单元和输出单元

输出单元支持激活函数，包括：