学习率应与高维在线独立成分分析中的高阶数据矩成反比缩放.pdfVIP

2025IEEEINTERNATIONALWORKSHOPONMACHINELEARNINGFORSIGNALPROCESSING,AUG.31–SEP.3,2025,ISTANBUL,TURKEY

学习率应与高维在线独立成分分析中的高阶数据矩成反比缩放

M.OğuzhanGültekin,SametDemir,ZaferDoğan

MLIPResearchGroup,KUISAICenterDepartmentofEEE,KoçUniversity

İstanbul,Turkey

ABSTRACT的结构[2,3]。尽管非高斯性可以丰富可用于学习任务

的信息，但也带来了显著的挑战[4,5]。偏离高斯性的

我们研究了高阶矩对在线独立成分分析（ICA）算法

程度越大，会创建更复杂的优化景观，增加对噪声的

本在由两个非高斯随机变量的加权和组成的数据模型中敏感度，并要求更加有利的初始条件以确保收敛到有

译的学习动态的影响。该模型允许通过权重参数精确控信息量的解[6,7,8]。这些效果在高维环境中尤为明

制输入矩结构。基于现有的一种高维极限下的常微分

中显，在这种环境下，算法动力学与数据统计之间的相

方程（ODE）分析，我们证明随着高阶矩的增加，算

1互作用变得越来越复杂[9]。因此，理解非高斯结构对

v法表现出较慢的收敛速度，并且需要更低的学习率以

7及更大的初始对齐度才能获得有信息量的解。我们的算法性能的影响对于开发稳健且可扩展的机器学习系

2统至关重要[10]。

1发现突显了该算法对输入数据统计结构的敏感性，尤

5

1其是其矩特征。此外，常微分方程框架揭示了在矩接独立成分分析（ICA）为研究非高斯性和学习行为之间

9.近最大值时学习所需的临界学习率阈值。这些见解激的相互作用提供了一个自然且原则性的框架。ICA的

0发了未来关于考虑矩特性的初始化和自适应学习率策目标是从观察到的线性混合中恢复统计上独立的潜在

5

2略的研究方向，以对抗由高非高斯性导致的学习速度组件，这一任务关键地依赖于源信号的非高斯性[11]。

:

v下降问题，从而提高ICA在复杂高维环境中的鲁棒性与仅基于二阶相关的方法不同，ICA利用更高阶统计

i

x和效率。数据来实现可识别性和分离[12,13]。这种对高阶矩的

r

a内在依赖使得ICA特别适合分析数据的统计结构如何

IndexTerms—独立成分分析（ICA）、在线学习、非

影响算法动力学[14]。当源分布表现出强非高斯性时，

高斯性、高阶矩、学习动力学、高维设置。

ICA算法的学习行为、对初始值的敏感性和鲁棒性可

能会发生显著变化[15]。因此，ICA作为一个有价值

1.介绍

的测试平台，用于研究更高阶统计特征的变化如何塑

许多实际应用中遇到的数据很少遵循理想化的高斯分造算法行为。

布。相反，它们经常表现出重尾、偏斜或更高的峰度等最近的理论进展使得能够使用动力系统理论中的工具

非高斯特征[1]。这些与高斯性偏差不仅仅是统计上的对高维极限下的ICA算法进行严格的研究。特别是