大数据技术基础教程 课件 第11章 好友推荐案例分析.pptx

第11章好友推荐案例分析《大数据技术基础教程》

学习目标/Target了解好友推荐项目需求和目标掌握项目所需的预备知识实践如何编写MapReduce程序，完成QQ好友推荐操作

章节概述/Summary近十几年间，随着在线社交网络的蓬勃发展，研究人员才开始有机会在大量现实数据的基础上对社交影响力进行建模和分析，并取得了丰硕的研究成果和广泛的应用价值。在这上千万用户的社交群体里，寻找潜在好友进行推荐，成为社交网络分析的关键问题之一。社交网络中的好友是指在社交网络中出现在用户联系人列表中的用户，它是一种广义上的朋友，既可以是Facebook中的好友，也可是新浪微博中的关注用户等。为社交网络用户推荐好友就是帮助用户在社交网络中找到她们感兴趣的用户，进而添加到自己的联系人列表之中，方便进一步的交流及商业应用。本章主要介绍了如何编写MapReduce程序，完成QQ好友推荐操作的相关知识

目录/Content务需求实验前HDFS平台的准备工作IDEA下建立Maven项目projectFriendRecommend程序实现05运行程序与结果验证

任务需求11.1

11.1任务需求通过mapreduce计算，为每个QQ用户推荐好友。数据集第一列为QQ用户，其他列为该用户的QQ好友。其中xiaoming、laowang、xiaohua、lingling、xiaogang、meimei和xiaolan是选中的7位QQ用户，每位用户后面的人员，是该用户的QQ好友。xiaoming laowang xiaohua linglinglaowang xiaoming xiaolanxiaohua xiaoming xiaogang xiaolanlingling xiaoming xiaogang xiaolan meimeixiaogang xiaohua xiaolan linglingmeimei xiaolan linglingxiaolan xiaohua laowang lingling meimei

实验前HDFS平台的准备工作11.2

11.2实验前HDFS平台的准备工作11.2.1启动Hadoop平台启动Hadoop平台

11.2实验前HDFS平台的准备工作11.2.2实验前数据路径的准备

11.2实验前HDFS平台的准备工作11.2.3实验程序每次执行前，运行结果输出路径的准备每次实验程序运行结果会存储在HDFS平台的/root/experiment/output/路径下，所以在程序执行前，该路径不能存在，如果存在，需要进行删除。

IDEA下建立Maven项目project11.3

11.3IDEA下建立Maven项目project1)建立新项目1.打开IDEA工具。2.确定要建立的项目类型

11.3IDEA下建立Maven项目project1)建立新项目3.填入工程信息4.确认项目信息，完成项目创建

11.3IDEA下建立Maven项目project1)建立新项目5.此时进入IDEA的开发界面。如果在开发界面的上方弹出“TipoftheDay”窗口，点出”Close”按钮，关闭该窗口即可。6.在右下角弹出的对话框中，选择EnableAuto-Import（如未弹出该对话框请忽略此步骤）。7.显示IDEA开发环境的主窗口。

11.3IDEA下建立Maven项目project2)配置pom.xml文件

11.3IDEA下建立Maven项目project3)查看Hadoop工程的Maven依赖包

FriendRecommend程序实现11.4

11.4FriendRecommend程序实现11.4.1数据准备

11.4FriendRecommend程序实现11.4.2编写单表关联的MapReduce程序

11.4FriendRecommend程序实现11.4.3建立FirstJob类文件，编写FirstJob类package?experiment;??import?org.apache.hadoop.io.IntWritable;??import?org.apache.hadoop.io.Text;??import?org.apache.hadoop.mapreduce.Mapper;??import?org.apache.hadoop.mapreduce.Reducer;??import?org.apache.hadoop.util.StringUtils;??import?java.io.IOException;??public?class?FirstJob?{??????public?static?class?Fof?extends?Text{????