低秩矩阵分解.pdf

机器学习机器学习机器学习机器学习 10.低秩矩阵分解低秩矩阵分解 主要内容主要内容主要内容主要内容 低秩矩阵分解问题 L2 VS L1 主要问题：缺失+噪音 CWMCWM MoGMoG 主要内容主要内容主要内容主要内容 低秩矩阵分解问题 L2 VS L1 主要问题：缺失+噪音 CWMCWM MoGMoG 低秩矩阵分解低秩矩阵分解  已知数据： 计算两个低秩矩阵计算两个低秩矩阵  目标目标：使低秩矩阵乘积尽可能重使低秩矩阵乘积尽可能重 建原矩阵 低秩矩阵分解低秩矩阵分解 大量应用： 运动中的结构检测 社交网络/推荐系统 (E.g.,Eriksson and Hengel ,2010) (E.g.,Cheng et al., 2012) 人脸建模 信息提取 (E.g., Candes et al.,2012) (E.g. Deerwester et al. 1990) 低秩矩阵分解低秩矩阵分解 关键问题： 如何度量原数据与重建数据偏差？ 低秩矩阵分解低秩矩阵分解 性能？ 最常见误差函数选择最常见误差函数选择： 主要内容主要内容主要内容主要内容 低秩矩阵分解问题 L2 VS L1 主要问题：缺失+噪音 CWMCWM MoGMoG 低秩矩阵分解低秩矩阵分解 各自优劣各自优劣？？ L2模型的解为？加正交约束有无影响？ 低秩矩阵分解低秩矩阵分解 L2范数模型 L1 范数模型 SVD TorreBlack (ICCV, 2001) Young diagram (CVPR, 2008) R1PCA (ICML, 2006) L2Wiberg (IJCV, 2007) PCAL1 (PAMI, 2008) LM_S/LM_M (IJCV, 2008) ALP/AQP (CVPR, 2005) SALS (CVIU, 2010) L1Wiberg (CVPR, 2010, best paper award) LRSDP (NIPS, 2010) RegL1ALM (CVPR, 2012) DampedWiberg (ICCV, 2011) Weighted SVD (Technometrics, 1979) WLRA (ICML, 2003) Damped Newton (CVPR, 2005) CWM (AAAI, 2013) Reg-ALM-L1 (CVPR, 2013) 低秩矩阵分解低秩矩阵分解 L2范数模型 L1 范数模型 SVD TorreBlack (ICCV, 2001) Young diagram (CVPR, 2008) R1PCA (ICML, 2006) L2Wiberg (IJCV,