基于SparkStreaming实时系统的研究与实现.docxVIP

鉴于SparkStreaming实时介绍系统的研究与实现 介绍系统需要能够介绍个性化的信息给用户。但是,现今的介绍系统往常不 能够实时、动向的介绍个性化信息,这是介绍系统的实时问题。 此外,由于经常存在用户/物品评分矩阵数据稀疏的问题。同时,由于新用户 或新物品没有评论信息,因此不能正确的对新用户或新物品介绍,这是介绍系统 中的冷启动问题。 关于上述问题,本文提出了p-相像度来解决传统共同过滤算法对数据稀疏 的问题。在p-相像度的基础上本文提出了CF-K-means混淆介绍算法,优化了基 于矩阵的共同过滤算法的方案,缓解了介绍系统中冷启动问题。 同时本文研究了实时介绍应用,提出了合用实时介绍的算法,本文的主要研 究内容包括:(1)针对介绍系统的数据稀疏问题,本文提出了p-相像度的相像度 计算方法。该方法优化了传统的共同过滤算法中的相像度计算的过程,关于共同 过滤算法求相像度加入了p因子,使用p-相像度的介绍算法更好的适应了数据稀 疏的情况,缓解了数据稀疏对介绍的影响。 针对现今共同过滤算法的冷启动问题,提出了CF-K-means混淆介绍算法, 该算法解决了传统的共同过滤算法中存在的冷启动问题。鉴于矩阵分解的共同过 滤算法会分解用户/物品的特点矩阵,然后对分解的新用户/新物品进行聚类,获 得新用户/新物品的K个最近邻。 使用K个最近邻的特点信息计算出新用户/新物品的特点向量,然后补