机器学习 课件 9.1 等值与低秩矩阵分解.pdf

等值与低秩矩阵分解

奇异值分解

给定域K（实数域或复数域）上的由于奇异值矩阵Σ中少数奇异值的和占据了

m×n矩阵M，其奇异值分解定义为:奇异值和的大部分，因此可以用最大的前k

个奇异值和它们对应的U矩阵中的k列以及

V*矩阵中的k行近似描述原矩阵M：

V是域K上的n×n酉矩阵

域K上的m×m矩阵

V*是V的共轭转置

（若K为实数域则U是正交矩阵）

主成分分析

元素全为非负数的m×n对角矩阵

新的坐标基降维后的数据

奇异值：矩阵Σ的对角线元素

低秩矩阵分解

非凸

常用的目标函数：

定义：给定域K（实数域或复数域）上的m

n×矩阵M，寻找矩阵因子W和H，使得：（1）欧氏距离：

优化

问题(2）散度：

W：m×kH：k×nkm,n当固定其中任一矩阵变量，对另一矩阵变量而

言，它们则是凸函数，因此常用的求解低秩矩

优化目标阵分解的算法有以下两种：

（1）随机梯度下降SGD

使得分解后矩阵因子的乘积尽可能地接近原矩阵

（2）交替最小二乘法ALS

TheEnd