基于hadoop作品推荐系统设计说明书报告.docVIP

基于hadoop作品推荐系统设计说明书 1.引言 1.1编写目的 　　 希望能够1.2背景 我们选取 Apache Hadoop 作为本应用系统的分布式计算平台。Hadoop 主要由两大核心模块组成：分布式文件系统 HDFS 和分布式批处理框架 MapReduce 两部分组成。HDFS 为我们提供了包括大规模文件存储系统以及对应可靠的备份管理机制的高容错性、高吞吐量的海量数据存储解决方案，而 MapReduce 编程模型为开发人员提供便利的分布式应用开发接口，如通信、同步、调度计算、负载均衡、处理机器异常等分布式计算和分布式系统常常遇到的复杂难题则交由 Hadoop 平台解决，对于上层开发人员来说是透明的。Hadoop 是一个可靠、高效、可扩展的开源分布式软件框架解决方案和工业级应用，主要用于大规模数据的存储和离线业务计算处理，目前被很多大型网站和公司支持和采用，并取得很好的应用效果。 本项目名称为：基于hadoop mapreduce的作品推荐 系统开发者：杨建拙，张镇，胡志伟王政 1.3定义 MapReduce: MapReduceanjay Ghemawat发表的论文“MapReduce: Simplified Data Processing in Large Clusters”中。MapReduce编程模型主要用于大规模数据集的并行计算，其中ap表示Reducer映射，表示化简。 Hadoop:是MapReduce编程模型的开源实现。 1.4参考资料 [1] Jeffrey Dean,Sanjay Ghemawat,USENIX Association et al.MapReduce: Simplified Data Processing on Large Clusters[C].Proceedings of the Sixth Symposium on Operating Systems Design and Implementation(OSDf04).2004:137-149. [2] 2. 系统的结构 Hadoop平台 3．ahout推荐算法设计说明 3.1模块描述 　　 Mahout是Apache Software Foundation顶级的免费开源项目，它是从Lucene发展而来的，是一个数据挖掘、机器学习、个性化推荐等若干算法库，为程序员提供了高效算法实例。Mahout中实现了很多算法，如分类聚类、推荐技术、频繁项挖掘等。经过调用Hadoop库，它能够有效的在Hadoop云计算平台上运行。为了提高算法的处理性能，Mahout把运行于单机中的算法转变成MapReduce计算的模式。 Mahoutt推荐算法，从数据处理能力上，可以划分为2类： 单机内存算法实现基于Hadoop的分步式算法实现 1). 单机内存算法实现 单机内存算法实现：就是在单机下运行的算法，是由cf.taste项目实现的，像我的们熟悉的UserCF,ItemCF都支持单机内存运行，并且参数可以灵活配置。单机算法的基本实例，请参考文章：用Maven构建Mahout项目 单机内存算法的问题在于，受限于单机的资源。对于中等规模的数据，像1G,10G的数据量，有能力进行计算，但是超过100G的数据量，对于单机来说是不可能完成的任务。 2). 基于Hadoop的分步式算法实现 基于Hadoop的分步式算法实现：就是把单机内存算法并行化，把任务分散到多台计算机一起运行。Mahout提供了ItemCF基于Hadoop并行化算法实现。基于Hadoop的分步式算法实现 分步式并行算法的问题在于，如何让单机算法并行化。在单机算法中，我们只需要考虑算法，数据结构，内存，CPU就够了，但是分步式算法还要额外考虑很多的情况，比如多节点的数据合并，数据排序，网路通信的效率，节点宕机重算，数据分步式存储等等的很多问题。3.2功能 Mahout基于Hadoop的分步式算法实现：就是把单机内存算法并行化，把任务分散到多台计算机一起运行。Mahout提供了ItemCF基于Hadoop并行化算法实现。 3.3性能 　 相关 不相关 检索到 A C 未检索到 B D A：检索到的，相关的 （搜到的也想要的） B：未检索到的，但是相关的 （没搜到，然而实际上想要的） C：检索到的，但是不相关的 （搜到的但没用的） D：未检索到的，也不相关的 （没搜到也没用的） 被检索到的越多越好，这是追求“查全率”，即A/(A+B)，越大越好。被检索到的，越相关的越多越好，不相关的越少越好，这是追求“查准率”，即A/(A+C)，越大越好。 3.4输入项 　　Mahout 的推荐引擎实际接受的输入是 DataModel，它是对用户偏好数据的压缩表示