数据感知的可微神经架构搜索在小型关键词检测应用中的研究-计算机科学-自动化机器学习-微小机器学习-神经架构搜索.pdfVIP

2025IEEEINTERNATIONALWORKSHOPONMACHINELEARNINGFORSIGNALPROCESSING,AUG.31–SEP.3,2025,ISTANBUL,TURKEY

数据感知的可微神经架构搜索在小型关键词检测应用中的研究

YujiaShiEmilNjorPabloMartínez-NuevoSvenEwanShepstoneXenofonFafoutis

TechnicalUniversityofDenmark(DTU)

BangOlufsenA/S

ABSTRACT低功耗系统上，承诺实现低能耗、网络基础设施独立

和隐私保护。

机器学习的成功越来越受到其显著资源占用的限制，

尽管具有潜力，但技术复杂性阻碍了TinyML的

本这推动了对高效范式如TinyML的兴趣。然而，设计广泛应用。成功开发TinyML系统需要在设计高性能

译TinyML系统的内在复杂性阻碍了它们的广泛采用。ML模型、优化这些模型以最小化资源消耗以及在嵌入

为了降低这种复杂性，我们引入了“数据感知可微神

中式系统的限制内实现它们方面具备罕见的专业知识组

经架构搜索”。与传统的可微神经架构搜索不同，我们

1合。由于很少有工程师能够在这所有领域都精通，因此

v的方法扩展了搜索空间，将数据配置参数与架构选择

5一并纳入。这使得数据感知可微神经架构搜索能够协新型TinyML应用程序的开发管道常常会遇到瓶颈。

4AutoML技术，如NeuralArchitectureSearch

5同优化模型架构和输入数据特征，有效地平衡资源使

5(NAS)，它自动设计NeuralNetwork(NN)架构，为创

1用和系统性能，适用于TinyML应用。在关键词检测

.建TinyML系统降低了入门门槛。最先进的NAS方法

7上的初步结果显示，这种新型的TinyML系统设计方

0包括DifferentiableArchitectureSearch(DARTS)[2]，

5法可以生成精简但高度准确的系统。

2它们将通常离散的模型架构搜索空间转换为连续空

:IndexTerms—微小机器学习，神经架构搜索，数间。这使得可以使用基于梯度的优化技术，从而极大

v

i据为中心的人工智能，自动化机器学习地提高NAS的效率。与此互补，TinyML领域的近期

x

r工作提出了“数据感知NAS”，它共同优化了模型架

a

1.介绍构和输入数据特征，以平衡TinyML应用中的资源使

用和系统性能[3]。

如今，MachineLearning(ML)系统正在改变世

这项工作展示了将这两种NAS技术结合用于关

界，通过将庞大的数据集转化为智能系统来创造令人

键词检测应用的早期结果。通过整合这些方法，我们

兴奋