机器学习方法及应用课件 第4章 维度约简.pdfVIP

第4章

维度约简

DimensionalityReduction

00目录

1.维度约简概述

2.主成分分析

3.独立成分分析

4.局部线性嵌入

5.线性判别分析

6.距离度量学习

7.应用

01维度约简概述

⚫定义

➢维数灾难（curseofdimensionality）是用来描述当（数学）空间维度增加时，分析和组

织高维空间，因体积指数增加而遇到各种问题场景。

➢降维是将训练数据从高维空间转换到低维空间，该过程与信息论中有损压缩概念密切相关，

但需明白，不存在完全无损的降维。

⚫降维动机：

➢原始空间中的样本具有极大的信息冗余

➢样本的高维数引起分类器设计的“维数灾难”

➢数据可视化、特征提取、分类与聚类等任务需求

02主成分分析

⚫目标

➢正交属性空间中的样本点，如何使用一个超平面对所有样本进行恰当的表