大规模最小二乘奇异值分解的并行处理方法-计算机应用研究.PDFVIP

第３１卷第１１期 计 算 机 应 用 研 究 Ｖｏｌ．３１Ｎｏ．１１ ２０１４年１１月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ｎｏｖ．２０１４ 大规模最小二乘奇异值分解的并行处理方法 ａ ａ ｂ 吴文波 ，姚新宇 ，刘丽丽 （国防科学技术大学　ａ．信息系统与管理学院；ｂ．机电工程与自动化学院，长沙 ４１００７３） 摘　要：大规模最小二乘问题求解中，直接进行奇异值分解会产生巨大的内存需求以及漫长的计算时间。为解决 该问题，提出了一种基于迭代的并行处理方法。该方法利用奇异值分解降维的特性，通过迭代不断减小矩阵规模， 直到可以直接使用奇异值分解求解。在迭代过程中，将矩阵分解为许多足够小的子矩阵，并行处理其奇异值分解 过程，从而提升运行速度。实验结果表明，该方法即使是串行处理，也使得大规模最小二乘奇异值分解的时间成本 及空间成本大大降低；而并行处理在双机条件下加速比接近２００％。 关键词：最小二乘；奇异值分解；迭代；并行处理 中图分类号：ＴＰ３１２　　　文献标志码：Ａ　　　文章编号：１００１３６９５（２０１４）１１３２５３０４ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１４．１１．０１３ Ｐａｒａｌｌｅｌｐｒｏｃｅｓｓｉｎｇｆｏｒｓｏｌｖｉｎｇｌａｒｇｅｓｃａｌｅｌｅａｓｔｓｑｕａｒｅ ｐｒｏｂｌｅｍｂｙｓｉｎｇｕｌａｒｖａｌｕｅｄｅｃｏｍｐｏｓｉｔｉｏｎ ａ ａ ｂ ＷＵＷｅｎｂｏ，ＹＡＯＸｉｎｙｕ，ＬＩＵＬｉｌｉ （ａ．ＣｏｌｌｅｇｅｏｆＩｎｆｏｒｍａｔｉｏｎＳｙｓｔｅｍ＆Ｍａｎａｇｅｍｅｎｔ，ｂ．ＣｏｌｌｅｇｅｏｆＭｅｃｈａｔｒｏｎｉｃｓＥｎｇｉｎｅｅｒｉｎｇ＆Ａｕｔｏｍａｔｉｏｎ，ＮａｔｉｏｎａｌＵｎｉｖｅｒｓｉｔｙｏｆＤｅｆｅｎｃｅ＆Ｔｅｃｈｎｏｌｏ ｇｙ，Ｃｈａｎｇｓｈａ４１００７３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｆｏｒｌａｒｇｅｓｃａｌｅｌｅａｓｔｓｑｕａｒｅｐｒｏｂｌｅｍ，ａｐｐｌｙｉｎｇＳＶＤｄｉｒｅｃｔｌｙｏｎｔｈｅｍａｔｒｉｘｒｅｑｕｉｒｅｄｈｕｇｅｍｅｍｏｒｙｄｅｍａｎｄｉｎｇ，ａｎｄｉｔ ｗａｓｔｉｍｅｃｏｎｓｕｍｉｎｇ，ｔｈｉｓｐａｐｅｒｐｒｏｐｏｓｅｄａｎｉｔｅｒａｔｉｏｎｂａｓｅｄｐａｒａｌｌｅｌｐｒｏｃｅｓｓｉｎｇｍｅｔｈｏｄｆｏｒｓｏｌｖｉｎｇｔｈｉｓｐｒｏｂｌｅｍ．Ｔｈｉｓｍｅｔｈｏｄｔｏｏｋ ａｄｖａｎｔａｇｅｏｆｍａｔｒｉｘｄｉｍｅｎｓｉｏｎｄｅｃｒｅａｓｉｎｇｆｅａｔｕｒｅｏｆＳＶＤ，ａｎｄｔｈｅｍａｔｒｉｘｂｅｃａｍｅｓｍａｌｌｅｒｂｙｉｔｅｒａｔｉｏｎ，ｕｎｔｉｌｔｈｅｍａｔｒｉｘｗａｓｓｍａｌｌ ｅｎｏｕｇｈｗｈｉｃｈｃｏｕｌｄｂｅｓｏｌｖｅｄｂｙＳＶＤｄｉｒｅｃｔｌｙ．Ｉｎｔｈｅｉｔｅｒａｔｉｏｎ，ｉｔｄｉｖｉｄｅｄｔｈｅｍａｔｒｉｘｉｎｔｏｌｏｔｓｏｆｓｕｂｍａｔｉｒｃｅｓｔｈａｔｗｅｒｅｓｍａｌｌ ｅｎｏｕｇｈｔｏｂｅｓｏｌｖｅｄｂｙＳＶＤ，ｔｈｅｙｃｏｕｌｄｂｅｐｒｏｃｅｓｓｅｄｉｎｐａｒａｌｌｅｌ，ｓｏｔｈａｔｉｔｉｍｐｒｏｖｅｄｔｈｅｐｒｏｃｅｓｓｉｎｇｓｐｅｅｄ．Ｅｘｐｅｒｉｍｅｎｔｒｅｓｕｌｔｓ ｓｈｏｗｔｈａｔ，ｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｃａｎｇｒｅａｔｌｙｄｅｃｒｅａｓｅｔｈｅｒｅｑｕｉｒｅｍｅｎｔｓｉｎｔｉｍｅａｎｄｓｐａｃｅｏｆｓｏｌｖｉｎｇｌａｒｇｅｓｃａｌｅｌｅａｓｔｓｑｕａｒｅｐｒｏｂ ｌｅｍｅｖｅｎｐｒｏｃｅｓｓｅｄｓｅｒｉａｌｌｙ；ａｎｄｔｈｅｓｐｅｅｄｕｐｒａｔｉｏｏｆｐａｒａｌｌｅｌｐｒｏｃｅｓｓｉｎｇｉｎｔｈｅｃｉｒｃｕｍｓｔａｎｃｅｏｆｔｗｏｎｏｄｅｓｃａｎｂｅｃｌｏｓｅｔｏ２００％． Ｋｅｙｗｏｒｄｓ：ｌｅａｓｔｓｑｕａｒｅｐｒｏｂ