三元 ReLU 回归神经网络线性区域数量的下界-计算机科学-机器学习-神经网络-计算复杂性.pdf

三元ReLU回归神经网络线性区域数量的下界

YutaNakaharaManabuKobayashiToshiyasuMatsushima

CenterforDataScienceCenterforDataScienceDept.ofAppliedMath.

WasedaUniversityWasedaUniversityWasedaUniversity

Tokyo,JapanTokyo,JapanTokyo,Japan

y.nakahara@waseda.jpmkoba@waseda.jptoshimat@waseda.jp

Abstract

本随着深度学习的进步，减少计算复杂性和内存消耗已成为一个重要挑战，而

译将参数限制为的三值神经网络（NN）作为一种有前景的方法受

中到了关注。尽管三值NN在图像识别和自然语言处理等实际应用中表现出

色，但其理论理解仍显不足。本文从线性区域数量的角度出发对三值NN的

1

v表达能力进行了理论分析。具体来说，我们评估了使用修正线性单元（ReLU）

9作为激活函数的三值回归神经网络的线性区域数量，并证明随着网络宽度

7呈多项式增长以及深度呈指数级增长，其线性区域的数量类似于标准NN。

0

6此外，我们展示了只需将三值NN的宽度平方或深度加倍即可达到与一般

1ReLU回归NN相当的最大线性区域数目的下限。这在某种程度上为三值

.

7NN实际上的成功提供了理论解释。

0

5

2

:1介绍

v

i

x近年来，随着深度学习的快速发展，神经网络（NNs）在各个领域取得了显著成果。然而，它

r

a们庞大的计算和内存消耗已成为其在移动设备和边缘计算中应用的重大障碍。特别是，在嵌

入式系统实现需要实时处理或在计算资源有限的环境中，减少神经网络的内存和计算需求是

一个迫切的问题。

作为一种有前途的解决方法，已经提出了离散化神经网络参数的方法。特别是，限制网络权

重为二值或三值的方法，或者量化激活函数输出值的方法已经开发出

来[Courbariauxetal.,2016,Lietal.,2022]。这些方法在包括图像识别[Rastegarietal.,2016,

Liuetal.,2020]、自然语言处理[Baietal.,2021,Wangetal.,2023,Maetal.,2024]和语音识别

[Xiangetal.,2017]在内的广泛任务中实现了与传统连续值神经网络相当的性能，同时成功地

大幅降低了计算复杂性和内存使用量。特别值得注意的是，尽管这些离散化神经网络对其参

数进行了极其严格的限制，但在实际任务中仍能保持高性能。

然而，对于这些离散化方法为何能有效工作的基本问题的理论理解仍然不足。这项研究的动

机是理论上解释三值神经网络成功的原因。提供此类理论解释的研究几乎没有进行过。特别

是，从神经网络表达能力的角度，尤其是通过线性区域数量来进行评估的工作尚未见到。

关于一般神经网络的线性区域数量，已经报道了几项重要的结果。特别是，对于使