Hadoop MapReduce进阶与案例分析：PageRank算法详解.pptx

分布式云平台;Hadoop;Hadoop;PageRank是什么

PR计算逻辑

使用MR实现;PageRank计算;PageRank计算;PageRank计算;PageRank计算;PageRank计算;PageRank计算;PageRank计算;解需求思路

**MR原语不被破坏

PR计算是一个迭代的过程，首先考虑一次计算

思考：

页面包含超链接

每次迭代将pr值除以链接数后得到的值传递给所链接的页面

so：每次迭代都要包含页面链接关系和该页面的pr值

mr：相同的key为一组的特征

map：

1，读懂数据：第一次附加初始pr值

2，映射k:v

1，传递页面链接关系，key为该页面，value为页面链接关系

2，计算链接的pr值，key为所链接的页面，value为pr值

reduce：

*，按页面分组

1，两类value分别处理

2，最终合并为一条数据输出：key为页面新的pr值，value为链接关系;ABD

BC

CAB

DBC

map：

A:BD

B:1/2

D:1/2

A:1/2

reduce：

A:1/2BD

map：

A:1/2,BD

B:1/4

C:1/4

A:3/4

reduce：

//A:1/2,BD

//A:3/4

A:3/4,B,D;Hadoop;概念

TF-IDF（termfrequency–invers