机器学习方法及应用课件 第4章 维度约简.pptxVIP

第4章

维度约简

DimensionalityReduction

1.维度约简概述

2.主成分分析

3.独立成分分析

4.局部线性嵌入

5.线性判别分析

6.距离度量学习

7.应用

00目录

01维度约简概述

定义

维数灾难（curseofdimensionality）是用来描述当（数学）空间维度增加时，分析和组织高维空间，因体积指数增加而遇到各种问题场景。

降维是将训练数据从高维空间转换到低维空间，该过程与信息论中有损压缩概念密切相关，但需明白，不存在完全无损的降维。

降维动机：

原始空间中的样本具有极大的信息冗余

样本的高维数引起分类器设计的“维数灾难”

数据可视化、特征提取、分类与聚类等任务需求

l

l

02主成分分析

目标

正交属性空间中的样本点，如何使用一个超平面对所有样本进行恰当的表达？

最大可分性：样本点在这个超平面上的投影能尽可能分开。

l

l最大可分性

样本点xi在新空间中超平面的投影是WTxi，若所有样本点的投影能尽可能分开，则应该使

得投影后样本点的方差最大化。

投影后样本点的方差为ΣiWTxixW

于是有

maxtr(WTXXTW)

W

s.t,WTW=I

等价于

min-tr(WTXXTW)

W

s.t,WTW=I

i

T

02主成分分析

l