机器学习无监督学习笔记.pdfVIP

day06-机器学习06

上课⽇期@January17,2024

主要内容⽆监督学习，PCA降维度，聚类算法，KMeans

主讲⽼师李晓华

复习@January18,2024

课时2

数据预处理和距离度量

数据的预处理preprocessing

中⼼化

减均值-归⼀化

减最⼩值，除以最⼤减最⼩值

标准化/规范化

减均值，除以标准差

把⼀个⾮标准正态分布变为标准分布

距离的度量distance，similarity（内涵是样的，应⽤场景略微不同）

欧式距离

两点之间的直线距离

KNN，Kmeans...

余弦相似度

两个向量之间夹⾓的余弦

NLP，⼤模型

⽪尔逊相关系数

两个变量的变化趋势是否相同

推荐算法

IoU交并⽐

Jaccarddistance的⼀种

两个集合的交集除以并集

计算机视觉

⽆监督学习—降维聚类

1）有监督学习与⽆监督学习

有监督学习：有特征也有标签的学习

X：特征（试题）：有

y：标签（答案）：有

分类算法和回归算法

⽆监督学习：

有特征，没有标签的学习

X（特征）：有

y（标签）：没有

2）矩阵分解—奇异值分解（SVD，补充）

1.奇异值分解（SVD）

SingularvaluedecompositionSVD—奇异值分解，适合于任何形状的矩阵，将矩阵A分解为三个矩阵相乘的形式：

day06-机器学习061

AUSV,

U：左奇异矩阵mxm

S：奇异值min(m,n)

V：右奇异矩阵nxn

A：原始矩阵mxn

意义：

奇异值越⼤，越重要

⽐如：只保留10个奇异值

⽤SVD分解⽅法对矩阵进⾏分解：

importnumpyasnp

A=np.arange(100).reshape(20,5)

U,S,V=np.linalg.svd(A)#A(20,5),U(20,20),S(5,),V(5,5)

#奇异值：都是正的，由⼤到⼩排列，

#⼤的更重要，⼩的不重要！！！！

S

array([5+02,7+00,4-14,