拓扑感知激活函数在神经网络中的应用-计算机科学-深度学习-神经网络训练-新型激活函数.pdfVIP

拓扑感知激活函数在神经网络中的应用

11

PavelSnopovandOlegR.Musin

UniversityofTexasRioGrandeValley-SchoolofMathematicalandStatisticalSciences

Brownsville-USA

摘要.本研究探讨了新型激活函数，这些函数增强了神经网络在训练过程

中操纵数据拓扑结构的能力。基于传统激活函数如ReLU的局限性，我们提

出了SmoothSplit和ParametricSplit，它们引入了拓扑“切割”能力。这些

函数使网络能够有效地转换复杂的数据流形，在低维层场景中提升性能。通

过在合成数据集和真实世界数据集上的实验，我们证明了在低维度设置下，

本ParametricSplit的表现优于传统激活函数，并且在高维度情况下也保持了竞

译争力。我们的研究结果强调了拓扑感知激活函数在推进神经网络架构方面的

中潜力。代码可通过/Snopoff/Topology-Aware-Activations

获得。

1

v

41介绍和相关工作

7

8

2尽管取得了显著进展，神经网络学习的基本机制仍然只部分被理解。诸如[1]

1

.研究表明，一个训练良好的网络（即实现接近零泛化误差的网络）逐步将一

7

0个复杂的数据集M=Ma∪Mb转换为拓扑上更简单的数据集。这种转换主

5要归因于ReLU的非单射性质，它倾向于“粘合”点在一起，而像tanh这

2

:样的函数则保持输入的拓扑结构。

v

i额外的工作[2,3,4,5]表明，解开潜在流形对于提高分类性能至关重要，

x

r强调了拓扑变换在深度学习中的作用。此外，具有拓扑感知的激活函数已被

a

成功应用于图像分割[6]和图神经网络[7]等任务。

受这些见解的启发，我们提出了一种新颖的非同胚激活函数，该函数

«分割»数据流形—实际上是«切割»拓扑结构而不是简单地压缩它。这两个

函数，SmoothSplit和ParametricSplit，旨在增强网络以一种拓扑感知的方

式重构其内部表示的能力。通过在合成数据集和真实世界数据集上的实验，

我们证明了ParametricSplit在低维设置中显著提高了性能，同时在高维情

况下仍具有竞争力，突显了感知拓扑的激活函数对于推进神经网络架构的

潜力。

2非同胚激活函数

如引言中所述，ReLU（详见[1]）的有效性主要归因于将其视为从到

的函数时所具有的拓扑性质。由于ReLU不是同胚，它通过压缩来改变拓

扑；具体而言，它«消除»了底层数据流形同调中的非平凡循环，从而简化

其结构。

拓扑简化也可以通过“切割”数据流形来实现。当适当应用（例如，沿

着非平凡循环）时，这个过程将流形分割成更简单的组件。能够进行这种切

割的函数也必须是非同胚的；与ReLU不同，后者是非单射的，它必须是非

满射的。例如，考虑被称作Split的函数：

Split