Apache-MahoutTaste基于Hadoop实现协同过滤推荐引擎代码分析.docx

HYPERLINK /jerome-rong/archive/2012/05/22/2513179.html Apache Mahout的Taste基于Hadoop实现协同过滤推荐引擎的代码分析 Taste 是 Apache Mahout 提供的一个协同过滤算法的高效实现，它是一个基于Java实现的可扩展的高效的推荐引擎。该推荐引擎是用userid,itemid,preference这样简单的数据格式表达用户对物品的偏好。以此为输入数据，计算后就可以得到为每个user推荐的items列表。他提供了方便的单机版的编程接口，也提供了基于hadoop的分布式的实现。单机版的编程接口主要适用于写demo和做算法的评估，若处理大规模数据，还是需分布式的实现。以下是对org.apache.mahout.cf.taste.hadoop.item.RecommenderJob的各MapReduce步骤的一个解读。Taste 实现一个分布式的协同过滤推荐共经历了如下12个MapReduce步骤。以下分析了各步骤的Mapper和Reducer都做了哪些工作，并有什么格式的数据输出。代码分析：1、计算item的itemid_index和最小itemid值1.1、ItemIDIndexMapper.class, VarIntWritable.class, VarLongWritable.class,用原始输入，将userid,itemid,pref数据转成itemid_index,itemid?1.2、ItemIDIndexReducer.class, VarIntWritable.class, VarLongWritable.class,在itemid_index,Iteratoritemid中找最小的itemid，输出itemid_index,minimum_itemid此处只是保存一个int型的itemid_index索引和对应的long型的itemid的映射2、计算各user的item偏好向量，即Vectoritem,pref2.1、ToItemPrefsMapper.class, VarLongWritable.class, booleanData ? VarLongWritable.class : EntityPrefWritable.class,用原始输入，读入偏好数据，得到userid,itemid,pref2.2、ToUserVectorReducer.class, VarLongWritable.class, VectorWritable.class,将userid,Iteratoritemid,pref中的itemid变成itemid_index，得到userid,Vectoritemid_index,pref，后者用RandomAccessSparseVector来存。3、统计数据中有多少个user3.1、CountUsersMapper.class,CountUsersKeyWritable.class,VarLongWritable.class,用步骤2的输出，统计独立userid数目，先转换数据为userid,userid3.2、CountUsersReducer.class,VarIntWritable.class,NullWritable.class,通过CountUsersPartitioner将所有数据发到一个区，一个Reducer来处理由于userid都已排序，所以可以用极简单的方式来统计出独立userid数输出只有一个值，即用户数4、计算item的user偏好向量，即Vectoruserid,pref，也即拿步骤2的结果做矩阵的修剪和转置4.1、MaybePruneRowsMapper.class,IntWritable.class,DistributedRowMatrix.MatrixEntryWritable.class,用步骤2的输出，按指定的maxCooccurrences参数值来修剪Vector的数目，目的是控制计算的规模，减少计算量然后转为以userid_index为列号、itemid_index为行号、pref为值的矩阵，用MatrixEntryWritable表示矩阵。输出为itemid_index,Matrixuserid_index,itemid_index,pref4.2、ToItemVectorsReducer.class,IntWritable.class,VectorWritable.class,输出为itemid_index,Vectoruserid_index,pref，相当于对步骤2的结果进行了矩阵