张量分解学习详解.ppt

张量的秩 不同于矩阵的秩，高阶张量的秩在实数域和复数域上不一定相同。例如一个三阶张量 在实数域内进行秩分解得到的因子矩阵为 而在复数域内进行分解得到的因子矩阵为 * 张量的低秩近似 相对于矩阵的SVD来说，高阶张量的秩分解唯一性不需要正交性条件保证，只需满足： 这里 表示矩阵 的k-秩：任意k列都线性无关的最大的k * 张量的低秩近似 然而在低秩近似方面，高阶张量的性质比矩阵SVD差 Kolda给出了一个例子，一个立方张量的最佳秩-1近似并不包括在其最佳秩-2近似中，这说明张量的秩-k近似无法渐进地得到 下面的例子说明，张量的“最佳”秩-k近似甚至不一定存在 * 张量的低秩近似 退化：如果一个张量能够被一系列的低秩张量任意逼近 边缘秩（border rank）：能够任意逼近一个张量的最少的成分个数 * 秩2 秩3 一个秩为2的张量序列收敛到一个秩3张量 CP分解的计算 分解成多少个秩一张量（成分）之和？ 通常的做法是从1开始尝试，知道碰到一个“好”的结果为止 如果有较强的应用背景和先验信息，可以预先指定 对于给定的成分数目，怎么求解CP分解？ 目前仍然没有一个完美的解决方案 从效果来看，交替最小二乘（Alternating Least Square）是一类比较有效的算法 * CP分解的计算 以一个三阶张量 为例，假定成分个数 已知，目标为 作为ALS的一个子问题，固定 和 ，求解 得 再通过归一化分别求出 和 * CP分解的计算 ALS算法并不能保证收敛到一个极小点，甚至不一定能收敛到稳定点，它只能找到一个目标函数不再下降的点 算法的初始化可以是随机的，也可以将因子矩阵初始化为对应展开的奇异向量，如将 初始化为 的前 个左奇异向量 * CP分解的应用 计量心理学 语音分析 化学计量学 独立成分分析 神经科学 数据挖掘 高维算子近似 随即偏微分方程 ………… * Tucker分解 * Tucker分解的其他名字 Three-mode factor analysis 3MFA/Tucker3 , Tucker, 1966 Three-mode principal component analysis 3MPCA , Kroonenberg & De Leeuw, 1980 N-mode principal components analysis, Kapteyn et al., 1986 Higher-order SVD HOSVD , De Lathauwer et al., 2000 N-mode SVD, Vasilescu and Terzopoulos, 2002 * Tucker分解 Tucker分解是一种高阶的主成分分析，它将一个张量表示成一个核心（core）张量沿每一个mode乘上一个矩阵。对于三阶张量 来说，其Tucker分解为 因子矩阵 通常是正交的，可以视为沿相应mode的主成分 * Tucker分解 容易看出，CP分解是Tucker分解的一种特殊形式：如果核心张量 是对角的，且 ，则Tucker分解就退化成了CP分解 * 三阶张量的Tucker分解 Tucker分解的矩阵形式 三阶Tucker分解的展开形式为 Tucker分解可以推广到高阶张量 * Tucker2和Tucker1 对于三阶张量固定一个因子矩阵为单位阵，就得到Tucker分解一个重要的特例：Tucker2。例如固定 ，则 进一步，固定两个因子矩阵，就得到了Tucker1，例如令第二、三个因子矩阵为单位阵，则Tucker分解就退化成了普通的PCA * 张量的n-秩近似 一个N阶张量 的n-秩定义为 若设 ，则 叫做一个秩- 张量 如果 ，则很容易得到 的一个精确秩- Tucker分解；然而如果至少有一个 使得 ，则通过Tucker分解得到的就是 的一个秩- 近似 * 张量的n-秩近似 * 截断的Tucker分解：秩- 近似 张量的n-秩近似 对于固定的n-秩，Tucker分解的唯一性不能保证，所以需要添加其他的约束 通常要求核心张量是“简单”的，如各个mode的主成分之间尽量不发生相互作用（稀疏性），或者其他的“简单性”约束 * Tucker分解的计算 HOSVD：利用SVD对每个mode做一次Tucker1分解（截断或者不截断） HOSVD不能保证得到一个较好的近似，但HOSVD的结果可以作为一个其他迭代算法（如HOOI）的很好的初始解 * Tucker分解的计算 为了导出HOOI迭代算法，先考虑目标函数 从而 应该满足 * Tucker分解的计算 目标函数的平方变为 * Tucker分解的计算 所以问题可以进行如下转化 利用交