基于Hadoop算法研究.docVIP

基于Hadoop算法研究 　　摘 要：本文通过对云计算和推荐系统的研究，构建了一种基于Hadoop平台的混合推荐算法。文中介绍了改进的混合推进算法，并结合Hadoop平台的MapReduce编程模型来实现。通过实验验证，该算法能精确的预测用户的偏好，向用户推荐感兴趣的信息。其次，Hadoop能满足对大量数据处理的要求，结合改进的混合推荐算法，能够大大提高推荐系统的性能。 　　关键词：云计算；推荐算法；混合推荐算法 　　中图分类号：TP301.6 文献标识码：A 　　Abstract：In this paper，through studying the recommendation system and cloud computation，we established the hybrid recommendation algorithm based on Hadoop.In this paper，we introduces a improved hybrid recommended algorithm and combine MapReduce programming which is used on Hadoop platform.Through practices，the improved algorithm can accurately acquiring user preferences， provide the user with recommendation when the user browse the web page.Finally Hadoop can meet the demand of massive data processing，and achieve a highly performance system by making use of the data reprocessing method. 　　Keywords：cloud computing；recommended algorithm；hybrid algorithm 　　1 引言（Introduction） 　　随着互联网的迅速发展和Web2.0技术的普及，网络中的信息量急剧上升，从海量的数据中快速找到用户感兴趣或对其有价值的信息，无论对于消费者还是商家来说都是十分重要的，而推荐系统就是一个非常有效的工具。作为一项广泛应用的机器学习技术，推荐系统通过了解用户的历史行为推断用户的喜好，向用户推荐其感兴趣的书、电影、文章等未知项目。如今很多网站都提供了推荐服务，例如：新浪微博、优酷、Amazon、Youtube等。 　　与搜索引擎不同，推荐系统不需要用户提供明确的搜索要求，而是通过对用户历史行为的记录分析去挖掘其兴趣，从而主动的向用户推荐符合他们兴趣和要求的信息[1]。因此，推荐系统需要大量的数据为前提，云计算可以很好地解决大容量数据存储的问题。 　　Hadoop平台是Apache分布式计算编程系统下的一个开放资源，是目前使用最广泛的云计算平台[2]，它主要包含两大方面：分布式文件系统HDFS和分布式计算模型MapReduce[3]。由于Hadoop平台具有成本低、效率高等优势，基于Hadoop平台的应用已经在互联网领域迅速发展[4]。本文设计并实现了一种基于MapReduce编程模型的混合推荐算法并将其应用到推荐系统中。 　　2 系统架构设计（Architecture design of system） 　　2.1 Hadoop平台 　　Hadoop分布式系统的基础框架由HDFS、MapReduce和HBase组成。其中，HDFS是Hadoop软件框架中的分布式文件系统，MapReduce是用于大规模数据处理的分布式计算模型，HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统[5]。Hadoop分布式系统的主要结构如图1所示。 　　如图1所示，DataNode节点主要负责对Hadoop分布式文件系统的数据进行存储，NameNode节点主要负责管理Hadoop文件系统的命名空间，并控制外部用户对文件系统的访问[6]。总之，Hadoop分布式文件系统是一个真实可靠的分布式文件存储系统，用户可以在其中存储他们的信息数据。 　　2.2 推荐系统的体系结构 　　推荐系统主要包括三个部分：用户、推荐算法和推荐对象。推荐算法是推荐系统的核心。随着互联网的发展，推荐系统已经被应用到很多领域，它具有比搜索引擎更高的用户体验，推荐系统结合了搜索引擎的优势发现用户的历史搜索并对结果进行排序，根据用户的历史行为收集用户的偏好数据并向用户推荐其感兴趣的内容。一般推荐系统的架构如图2所示。 　　2.3 基于用户的协同