基于hadoop作品推荐系统设计说明书.doc

基于hadoop作品推荐系统设计说明书 1.引言 1.1编写目的 　　 希望能够1.2背景 我们选取 Apache Hadoop 作为本应用系统的分布式计算平台。Hadoop 主要由两大核心模块组成：分布式文件系统 HDFS 和分布式批处理框架 MapReduce 两部分组成。HDFS 为我们提供了包括大规模文件存储系统以及对应可靠的备份管理机制的高容错性、高吞吐量的海量数据存储解决方案，而 MapReduce 编程模型为开发人员提供便利的分布式应用开发接口，如通信、同步、调度计算、负载均衡、处理机器异常等分布式计算和分布式系统常常遇到的复杂难题则交由 Hadoop 平台解决，对于上层开发人员来说是透明的。Hadoop 是一个可靠、高效、可扩展的开源分布式软件框架解决方案和工业级应用，主要用于大规模数据的存储和离线业务计算处理，目前被很多大型网站和公司支持和采用，并取得很好的应用效果。 本项目名称为：基于hadoop mapreduce的作品推荐 系统开发者：杨建拙，张镇，胡志伟王政 1.3定义 MapReduce: MapReduceanjay Ghemawat发表的论文“MapReduce: Simplified Data Processing in Large Clusters”中。MapReduce编程模型主要用于大规模数据集的并行计算，其中ap表示Reducer映射