高效的张量化神经网络和张量网络算法的部分范数初始化-计算机科学-机器学习-张量网络-算法.pdfVIP

高效的张量化神经网络和张量网络算法的部分范数初始化

AlejandroMataAli

i3BIbermaticaFundazioa,QuantumDevelopmentDepartment,PaseoMikeletegi5,20009Donostia,Spain

IñigoPerezDelgadoandMarinaRistolRoura

i3BIbermaticaFundazioa,ParqueTecnológicodeBizkaia,

IbaizabalBidea,Edif.501-A,48160Derio,Spain

AitorMorenoFdez.deLeceta

i3BIbermaticaFundazioa,UnidaddeInteligenciaArtificial,

AvenidadelosHuetos,EdificioAzucarera,01010Vitoria,Spain

(10Dated:2025年7月10日)

我们提出了两种算法，用于通过部分计算张量化神经网络和一般张量网络的Frobenius范数及线性

逐元素范数来初始化层，具体取决于所涉及的张量网络类型。该方法的核心是在迭代过程中使用张量

子网络的范数，从而使我们能够通过导致发散或零范数的有限值进行归一化。此外，该方法还从中间

本计算结果的复用中获益。我们也将其应用于矩阵乘积态/张量列（MPS/TT）和矩阵乘积算子/张量列

译车矩阵（MPO/TT-M）层，并观察到了其相对于节点数量、键维数及物理维度的扩展性。所有代码均

中已公开。

Keywords:机器学习，张量网络，量子启发的其他方法

4

v

7

7I.介绍情况下得到应用。最著名的量子启发技术之一是张量

5网络[4,5]，它们是对张量代数计算的图形表示。张量

6

0深度神经网络[1]在机器学习中被广泛用于在工网络具有通过诸如矩阵乘积态/张量列车（MPS/TT）

.

9业、研究及各种其他应用中取得良好效果。这种良好[6]或投影纠缠对态（PEPS）[7]等表示方式来“压缩”

0

3的性能使其得以应用于更复杂的场景，需要更多的参张量信息的强大能力。这使得我们可以用较少的参数

2数。因此，各种架构已被利用以提升其性能。最大的例保留所表示张量的重要信息。这种压缩已被以各种方

:

v子是大型语言模型(LLM)[2]，它们使用了极大量的参式应用于几种机器学习模型，例如将矩阵分解为张量

i

x数，需要大型设备才能运行。内存需求成为了未来应网络[8,9]。它已被应用于神经网络[10],卷积神经网

r

a

用和人工智能当前发展路线可扩展性的一大限制。络[11],变压器[12],脉冲神经网络[13]或LLM[14,

随着量子计算被应用于各个领域，由于量子系统15]。张量网络也被用作主要模型，直接训练张量网络

处理信息的指数级容量，对量子信息压缩方法[3]的兴本身[16,17]（图1）。

趣增加了。这是导致量子机器学习领域发展的一个原

我们的分析重点将放在生成大型张量