面向异构设备部署的可迁移神经网络结构压缩与搜索算法底层实现探索.pdfVIP

面向异构设备部署的可迁移神经网络结构压缩与搜索算法底层实现探索1

面向异构设备部署的可迁移神经网络结构压缩与搜索算法底

层实现探索

1.异构设备部署背景

1.1异构设备定义与特点

异构设备是指在硬件架构、计算能力、存储容量、能耗特性等方面存在显著差异的

多种设备。随着物联网和边缘计算的快速发展，异构设备的应用场景日益广泛，涵盖了

从高性能服务器到低功耗移动设备和嵌入式系统等各类设备。

•硬件架构差异：服务器通常采用多核CPU和高性能GPU，具备强大的并行计算

能力；而移动设备如智能手机和平板电脑则多采用集成的SoC（SystemonChip），

在计算能力上相对有限，但注重功耗控制和集成度。例如，苹果的A系列芯片和

高通的骁龙系列芯片在移动设备中广泛应用，其架构设计侧重于低功耗和高效能

比，与服务器芯片的架构有明显不同。

•计算能力差异：高性能服务器的计算能力可达每秒数万亿次浮点运算，能够处理

大规模复杂任务；而一些低功耗的物联网设备，如智能传感器节点，其计算能力

可能仅在每秒数十万次浮点运算级别，主要用于简单的数据采集和预处理。这种

计算能力的差异对神经网络的部署提出了挑战，需要根据设备的计算能力进行针

对性的优化。

•存储容量差异：服务器通常配备大容量的内存和高速存储设备，能够存储和处理

海量数据；而移动设备和嵌入式系统的存储容量相对较小，例如一些智能手表的

存储容量可能仅在几十MB到几百MB之间，这限制了神经网络模型的大小和复

杂度，要求模型在保证性能的同时尽量压缩存储空间。

•能耗特性差异：服务器在运行时能耗较高，但通常有稳定的电源供应；而移动设

备和物联网设备则依赖电池供电，对能耗极为敏感。例如，智能手机在运行大型

神经网络应用时，如果能耗过高会导致电池快速耗尽，影响用户体验。因此，降

低能耗是异构设备部署神经网络的重要考虑因素之一。

1.2神经网络部署需求

随着人工智能技术的普及，神经网络在异构设备上的部署需求不断增加，以满足不

同场景下的智能化需求。

2.可迁移神经网络结构2

•实时性需求：在许多应用场景中，如自动驾驶、工业自动化控制等，神经网络需

要在极短时间内完成数据处理和决策，以保证系统的实时性和安全性。例如，自

动驾驶车辆需要在毫秒级时间内对道路环境进行感知和决策，这就要求部署在车

辆上的神经网络模型具备高效的推理能力，能够在有限的硬件资源下快速响应。

•资源受限需求：异构设备的计算、存储和能耗资源有限，神经网络模型需要进行

压缩和优化，以适应这些资源受限的环境。例如，在一些低功耗的物联网设备上，

需要将大型的神经网络模型压缩到几KB甚至更小的大小，同时保持模型的性能，

以实现设备的智能化功能。

•可迁移性需求：由于异构设备的多样性和复杂性，神经网络模型需要具备良好的

可迁移性，能够在不同设备之间灵活部署和迁移。例如，一个在服务器上训练好

的神经网络模型，需要能够方便地迁移到移动设备或嵌入式系统上运行，以满足

不同场景下的应用需求。这要求研究可迁移的神经网络结构压缩与搜索算法，以

实现模型在不同硬件平台上的高效部署和运行。

2.可迁移神经网络结构

2.1结构设计原则

可迁移神经网络结构的设计需要遵循一系列原则，以确保其在不同异构设备上的

高效部署和运行。

•轻量化原则：神经网络结构应尽量减少参数数量和计算复杂度，以适应资源受限

的异构设备。例如，通过采用深度可分离卷积（DepthwiseSeparableConvolution）

等轻量化操作，可以显著减少模型的参数量和计算量。研究表明，深度可分离卷

积相比传统的卷积操作，计算量可减少约9倍，参数量减少约8倍，这使得模型

在低功耗移动设备和嵌入式系统上能够更高效地运行。