面向海量数据系统研究.docVIP

面向海量数据系统研究 　　摘 要： 在处理大数据时，传统的推荐系统，如常规协同过滤的推荐性能受到了限制。使用操作简便的K均值聚类算法与协同过滤构成组合推荐算法具有较好的推荐性能，该文使用遗传算法对组合推荐算法进行优化，简化组合推荐算法，降低组合算法的复杂度和成本。同时，通过对遗传算法进行改进，以提高遗传算法的优化能力，提高推荐系统性能。最后，通过MovieLens电影打分数据集对该文研究的推荐算法进行性能测试。结果表明，遗传算法的优化能力得到提升，推荐系统的性能有所提高。 　　关键词： 大数据； 推荐系统； 协同过滤； 遗传算法； K均值聚类 　　中图分类号： TN911?34； TP18 文献标识码： A 文章编号： 1004?373X（2016）12?0059?03 　　Abstract： When dealing with large data， the traditional recommendation system， such as conventional collaborative filtering， is limited in its recommendation performance. The combination recommendation algorithm formed by K means clustering algorithm and collaborative filtering algorithm has better recommendation performance. The genetic algorithm is used in this paper to optimize the combination recommendation algorithm to simplify the algorithm so as to reduce the complexity and cost of the combination algorithm. At the same time， the genetic algorithm is ameliorated to improve the optimization ability of the genetic algorithm and the performance of the recommendation system. The performance test of the recommendation algorithm was carried out by means of the MovieLens film scoring data set. The test results show that the optimization ability of the genetic algosithm and the performance of recommendation system have been improved. 　　Keywords： big data； recommendation system； collaborative filtering； genetic algorithm； K means clustering 　　0 引 言 　　随着互联网的不断发展，互联网信息数据量正呈现出爆炸式的增长，已经进入了大数据时代，大数据正在引领一场新的技术革命。在互联网的海量数据中寻找用户关心感兴趣的信息正是推荐系统诞生的目的。推荐系统经过不断发展和更新，已经拥有了相对成熟的技术，其中最有效的技术之一即是协同过滤。协同过滤能够对用户的个性信息进行记录和提取，并使用这些信息建立用户模型，使用推荐算法建立的推荐系统将符合用户兴趣的信息主动地推荐给用户。协同过滤推荐系统实际上可以认为是一种打分预测过程。以向用户推荐其感兴趣的电影为例，推荐系统能够根据用户观看的电影历史信息以及该用户本身的个性化信息，并通过一定的推荐算法向用户推荐其可能感兴趣的电影[1?6]。 　　在处理大数据时，传统的推荐系统的性能受到了限制，在大数据环境下的推荐系统需要考虑大数据的特性，首先大数据环境下，推荐系统需要有更加强大的数据处理性能，因为需要处理的数据量更加庞大并且存在更高冗余以及噪声的数据。其次大数据环境下，推荐系统需要有更快的更新速度，以满足海量数据处理能力。最后，大数据环境下，推荐系统需要有更加精确的推荐能力，以解决信息过载问题。对于大数据环境下的推荐任务，常规协同过滤的推荐效率较低。使用K均值聚类等操作简便的聚类算法与协同过滤构成混合推荐算法具有较好的推荐性能，Google 以及Amazon等大型网络公司的推荐系统均