高维数据降维技术的选择.docxVIP

高维数据降维技术的选择

随着各领域数据采集能力的持续提升，高维数据已经成为数据分析场景中的常态：生物信息领域的单样本基因表达维度可达数万，计算机视觉领域的高清图像单样本像素维度可达数百万，自然语言处理场景下的文本表示维度动辄上千，电商平台的用户行为特征维度也常突破数千。高维数据虽然承载了更丰富的信息，但也带来了广为人知的“维度灾难”问题，让传统的数据分析、建模、可视化方法效果骤降。降维作为连接高维原始数据和低维有效表示的核心技术，早已成为高维数据分析流程中必不可少的环节，但当前实践中普遍存在降维技术误用、盲目选择的问题：有人不管什么场景都直接套用最经典的主成分分析，有人为了追求好看的可视化效果