张量分解在高维数据应用.docxVIP

张量分解在高维数据应用

一、高维数据的分析困境与张量分解的核心内涵

（一）高维数据爆发与传统分析方法的局限

随着数字技术的快速发展，各行各业产生的数据不仅在规模上快速增长，在维度上也呈现出爆炸式提升的态势。以往我们接触到的大多是一维的文本序列、二维的表格数据，而现在的高维数据往往包含三个甚至更多的维度，比如智慧医疗场景中的多组学数据，同时包含基因组、转录组、蛋白质组、代谢组等多个模态，再加上样本维度、时间维度，整体维度可以达到五阶甚至更高；智慧城市中的多源传感数据，涵盖空间位置、时间、监测指标、设备类型等多个维度；多媒体领域的视频数据，本身就包含时间、空间高度、空间宽度、颜色通道等多个维度，多视角视频的维度还会进一步增加。

传统的数据分析方法大多是基于二维矩阵设计的，比如常用的主成分分析、矩阵分解等，在处理高维数据时，通常需要先将高维数据展开拼接成二维矩阵，再进行分析。这种操作会直接破坏原始数据的多维度耦合关系，比如将视频数据展开成二维的“像素-帧”矩阵，就丢失了像素之间的空间相邻关系和帧之间的时序关联，导致分析结果的准确性下降。有研究指出，当数据维度超过三阶时，传统矩阵分解方法通过维度拼接转化为二维数据的操作，会导致近三分之二的跨维度交互信息被掩盖（王珏等，2019）。除此之外，高维数据还普遍存在稀疏性问题，也就是有观测值的位置占总位置的比例很低，比如推荐系统中用户和物品的交互数