基于互信息的无监督特征选择与冗余分析结题报告.docVIP

基于互信息的无监督特征选择与冗余分析结题报告

一、研究背景与问题提出

在大数据与人工智能技术快速发展的当下，数据维度爆炸式增长已成为众多领域面临的共性挑战。从计算机视觉中的高分辨率图像特征，到自然语言处理中的海量文本向量，再到生物信息学中的基因表达谱数据，高维数据在为模型提供丰富信息的同时，也带来了一系列问题：计算复杂度呈指数级上升，导致模型训练与推理效率低下；“维度灾难”引发模型过拟合风险增加，泛化能力严重受损；大量无关或冗余特征干扰模型对核心规律的学习，降低预测精度。

传统特征选择方法主要分为监督式、半监督式与无监督式三类。监督式特征选择依赖标签信息，通过评估特征与标签的相关性筛选有效特征，在分类、回归等任务中表现出色，但在无标签数据场景下完全失效。半监督式特征选择虽能利用少量标签与大量无标签数据，但其性能高度依赖标签质量与数量，且算法设计复杂，难以在实际无标签数据集中广泛应用。无监督式特征选择无需标签信息，仅通过数据自身的结构与分布特征筛选关键特征，更符合现实世界中大部分无标签数据的处理需求，成为当前特征选择领域的研究热点。

然而，现有无监督特征选择方法仍存在诸多不足。部分方法仅关注特征的代表性，忽略特征间的冗余性，导致筛选出的特征子集包含大量重复信息；另一部分方法虽考虑了冗余性，但多基于线性假设，无法有效捕捉高维数据中的非线性关系。互信息作为一种衡量两个随机变量之间依赖关系