大数据workshop：《云数据·大计算：海量日志数据分析与应用》之《社交数据分析：好友推荐》篇.docx

大数据workshop：《云数据·大计算：海量日志数据分析与应用》之《社交数据分析：好友推荐》篇 本文章来自于阿里云云栖社区 摘要：?本手册为云栖大会Workshop《云计算·大数据：海量日志数据分析与应用》的《社交数据分析：好友推荐》篇而准备。主要阐述如何在大数据开发套件中使用MR实现好友推荐。 大数据workshop：《云数据·大计算：海量日志数据分析与应用》之《社交数据分析：好友推荐》篇 实验背景介绍  HYPERLINK /2017/shenzhen/ti/index \t _blank 了解更多（原文链接：/2017/shenzhen/ti/index?spm=5176.100239.blogcont72536.11.7Xwu6L）2017云栖大会·深圳峰会 TechInsight Workshop. 本手册为云栖大会Workshop《云计算·大数据：海量日志数据分析与应用》的《社交数据分析：好友推荐》篇而准备。主要阐述如何在大数据开发套件中使用MR实现好友推荐。 MapReduce应用场景 搜索：网页爬取、倒排索引、PageRank； Web访问日志分析：分析和挖掘用户在web上的访问、购物行为特征，实现个性化推荐； 文本统计分析：比如莫言小说的WordCount、词频TFIDF分析；学术论文、专利文献的引用分析和统计； 海量数据挖掘：非结构化数据、时空数据、图像数据的挖掘； 机器学习：监督学习、无监督学习、分类算法如决策树、SVM等； 自然语言处理：基于大数据的训练和预测；基于语料库构建单词同现矩阵，频繁项集数据挖掘、重复文档检测等； 广告推荐：用户点击（CTR)和购买行为（CVR）预测。 涉及大数据产品  HYPERLINK /product/ide \t _blank 大数据开发套件（原文链接：/product/ide?spm=5176.100239.blogcont72536.12.7Xwu6L） 好友推荐MapReduce算法分析 现在，社交网络已经成为影响力巨大的信息平台，社交网站中，用户可以通过“你可能感兴趣的人”途径增加交友方式。“你可能感兴趣的人”也称作“好友推荐”， 它主要是通过查找两个非好友之间的共同好友情况来实现的。下面，将通过一个例子，简单介绍通过MapReduce的方式实现好友推荐功能。 例如：A,B,C,D,E五个人的好友关系如下图，其中实线表示互为好友关系。那么，如何获取两个不是好友的两个人之间的好友数？并以此为参考，进行对用户推荐陌生人。 首先，将好友关系分配到两个Map进行处理，其中每个Map包含3条好友关系。对每一条好友关系进行拆分，若Key中的两个人为朋友，则记录value值为0，否则value值为1。将拆分的结果进行排序，其中（A B）和（B A）作为同一个key（A B）。 然后，将分别对两个Map处理的记录进行初步合并，若两个记录的Key值相同且每条记录的Value都不为0，则Value值加1。注意：在Combine阶段，必须保留Value为0的记录，否则，在Reduce阶段，获取的结果会出错。 最后，通过Reduce方式，合并两个Map处理的Combine结果。首先，若两个记录的Key值相同且每条记录的Value都不为0，则Value值加1；然后，将Value值为0的记录删除；最后，获取不为好友的两个用户之间的公共好友数：Key为两个不为好友的用户，Value是两个不是好友的用户之间的共同好友数。社交网站或者APP可以根据这个数值对不是好友的两个用户进行推荐。 实验详情 下载实验数据  HYPERLINK /attachment/download/?spm=.V2tCGIfilename=%E5%AE%9E%E9%AA%8C%E6%95%B0%E6%8D%AE.zip%5B%E7%A5%8E%E4%BC%91%5D.1490531793.zip \t _blank 点击下载实验数据 进入大数据开发套件 确保阿里云账号处于登录状态。 step1： HYPERLINK /console \l /projectlist \t _blank 点击进入大数据开发套件**项目列表**。 step2：点击已经创建的项目空间名称，进入大数据开发套件。 新建数据表 继上实验《数据采集：日志数据上传》和《数据加工：用户画像》中已经新建脚本文件，可以直接切换至脚本开发tab下，双击打开create_table_ddl脚本文件。若无新建脚本文件可通过如下详细步骤进行创建脚本文件。 附建表SQL drop table if exists dual;--创建系统dual create table dual(id bigint);--如project中不存在此伪表，则需创