【《张量分解在深度学习中的低秩逼近与性能提升》9600字】 .docxVIP

张量分解在深度学习中的低秩逼近与性能提升摘要

张量是矩阵的高阶推广，是分析高维数据的有力数据，张量的研究主要集中在张量的特征值与张量分解两大领域，目前针对张量分解的研究已经相当成熟，但是对于张量分解的矩阵分解、秩的估计、优化算法等还需要解决。本文首先对张量分解、深度神经网络，CP分解和Tucker分解的概念做出了具体的界定，之后论文以张量分解在卷积神经网络中的实际应用进行了探讨。具体地，文本首先使用张量分解思想对Resnet卷积神经网络进行分解，对FashionMNIST

时尚数据集进行识别，验证了分解过后的卷积神经网络识别精度更好。实验以猫狗大战数据集作为训练集，具体研究了张量分解中CP分解和Tucker分解的方法、代码实现和训练结果精确度，对其进行了深入的研究和探讨，验证了CP分解和Tucker分解的效率和准确性。

关键词：张量分解；卷积神经网络；CP分解；Tucker分解；Python

目录

1绪论 1

1.1研究背景及意义 2

1.2研究主要内容 2

2理论基础 3

2.1张量缩并 3

2.2张量分解 3

2.3深度神经网络 4

2.4CP分解 5

2.5Tucker分解 5

3代码实现过程 6

3.1整体逻辑介绍 6

3.2训练、测试数据的打包和处理 7

3.3CP分解和Tucker分解的实现 8

3.4主函数功能的实现 9

4结果分析 1

结语和展望 19

参考文献 19

1绪论

1.1研究背景及意义

对于张量的研究主要集中于张量的特征值与张量分解这两大领域。张量分解最初是由Hitchcock在上个世纪三十年代提出的1,其研究有着上百年的历史，所以张量分解相较张量特征值来说研究更广泛也更久(付奇远，陈雅茜，2022)。张量分解的应用可以追溯到盲源分离，即在未知源信号和系统混合参数的情况下，依据源信号的特性，仅从观测的混合信号中分离或提取各个源信号的方法。盲源分离，高维数据的低维表示都对应于张量分解(成君向，付晓茜，2023)2。

张量分解一般有两大作用，其中之一就是通过分解的模式将复杂的数据进行分离和分析，具体提取数据中的特征点和描述；另一种则是通过低秩的不断向高秩逼近来处理大量的数据，降低系统的处理压力，以便能够以更高精度同时更高效率地分析处理各类数据3。张量研究已取得一定的成果，但仍有较多亟待解决的问题(张建国，孙晓茜，2021)。对于矩阵的特征值，有着明确的定义，但对于张量，存在多种特征值定义4]。矩阵的秩有明确的物理意义，但张量的秩目前物理意义不明确。对于张量分解，因为对于张量秩的求解是一个NP-hard的问题5,所以张量分解的研究大多是张量近似分解，但对于对称张量的秩估计已经有了一定了理论基础，针对对称张量展开理论研究，利用优化算法[6,这在某种程度上映射了进行数值求解，对于一般张量的精确分解也是一个亟待解决的问题(孙洁瑶，高泽明，2021)。所以对张量分解在深度神经网络中的具体分析和效率研究有着很重要的研究意义。

1.2研究主要内容

本论文研究的主要内容是在构建一个有效的深度神经网络的基础上，通过训练集对该深度神经网络进行训练，之后利用张量分解的两种算法：CP分解和Tucker分解算法分别进行训练7,通过对比两种算法下的训练时间、综合性能等来评判两种算法的优劣，最终得出张量分解在深度神经网络模型中的具体应用和性能对比结果8。

2理论基础

2.1张量缩并

张量缩并是一种求迹的推广，类似应力张量有9个分量，不变量是三个主应力91。通过张良缩并，研究者可以很好的将二阶的不变量转化为定值，这一定值具体指的是零阶的不变量，这一方法一定程度上与求迹的方式是非常类似的，其中很显著的一个例子就是黎曼曲率的缩并。

同时，缩并是张量的一个上标和一个下标相同的运算，其结果是一个比原来张量低二阶的新张量(孙雨菲，郑彦霖，2022)10]。同时必须明确，在此类情况下不是所有张量都可以进行缩并的，例如最典型的无法缩并的张量就是协变或者逆变指标数目为0的张量。可见，缩并是协变和逆变的相互抵消(类似一顺一逆，正好抵消)。因为是值之间的相互抵消，所以缩并后，张量的指标数都是少2N个，N是正整数。比如5阶张量缩并，可以得到三阶张量或者一阶张量(林昊忠，吴志明，2020)11。

2.2张量分解

张量具体指的是一种高阶的多变矩阵，它是将向量、矩阵和标量向跟高的阶层推广的结果。其中将标量、向量和矩阵分别被称为零阶、一阶、二阶