基于Spark平台的SVD算法设计实现和应用-电子与通信工程专业论文.docxVIP

独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的 研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个 人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体， 均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期： 年 月 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保 留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本 人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索， 可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本论文属于 保密□， 在 年解密后适用本授权书。 不保密?。 （请在以上方框内打“√”） 学位论文作者签名： 指导教师签名： 日期： 年 月 日 日期： 年 月 摘 要 奇异值分解（Singular Value Decomposition）是线性代数中一种重要的矩阵分 解算法。在信号处理、机器学习等领域都有广泛的应用，可用于对数据进行降维， 主成分分析，噪声过滤，信息的分解和重构等方面。而在当前信息爆炸时代，大数 据背景下，传统的 SVD 算法实现难以应对海量数据处理。结合大数据处理平台、 高效的分布式算法设计和应用，已经成为一个富有意义和挑战的研究方向。 Spark 是由加州大学伯克利分校 AMP 实验开发的基于内存的分布式计算框架。 相对于 MapReduce 等分布式计算框架，它的优势在于能够很好地适应迭代计算， 能高效地处理复杂的海量数据计算问题，良好地适应分布式迭代算法开发。 为了解决海量数据处理的问题，本文针对大规模稀疏矩阵设计了并行的 SVD 算法并在 Spark 平台上进行了实现。在大规模稀疏数据下的算法实现需要面对两个 问题，一是计算过程中要保证数据的稀疏度，二是能够高效地实现并行化。针对这 两个问题，本文给出了基于 Lanczos 分解算法、二分法和反幂法等算法设计了 SVD 并行算法。Lanczos 算法是一种将实对称矩阵变换成对称三对角矩阵的算法，是求 解大规模对称矩阵特征问题最有效方法之一，而二分法和反幂法分别用于高效地求 解三对角矩阵特征值和特征向量。对基于 Spark 平台的 SVD 算法在效率、准确性、 加速比方面展开了实验，结果表明，算法在对大规模数据处理时有较高的实现效率。 本文还给出了 SVD 算法在信息检索领域，查询推荐方面的应用研究。利用 SVD 算法，通过对搜索引擎中查询点击的标题文本分析，构建潜在语义分析模型并计算 标题文本间相似度，进而得到查询间的相似度，可进一步应用于查询推荐或建议等。 研究结果表明，算法在查询推荐方面也有较好的应用效果。 关键词：奇异值分解 潜在语义分析 大数据 Spark 查询推荐 ABSTRACT In linear algebra, the singular value decomposition (SVD) is an important matrix computation algorithm. SVD is also widely used in signal processing and machine learning, which is used for reducing the dimensionality of complex data sets, principal component analysis, filtering noise and so on. In the era of information explosion, the traditional SVD algorithm can’t deal with massive data under the background of big data. The combination of data processing platform and design of efficient distributed algorithm has become a significant and challenge research. Spark, developed by California Berkeley AMPLab, is a memory computing based distributed framework. Compared with the MapReduce distributed computing framework, Spark can well adapt the iterative calculation and ef