为空间在此处放置任何内容云计算教授m2l1count1.pdfVIP

WordCount

•Havealargefileofwords,manywordsin

eachline

•Countthenumberoftimeseachdistinct

wordappearsinthefile

WordCountProgram

MAP(KEY=LINE,VALUE=CONTENTS):

FOREACHWORDWINVALUE:

EMITINTERMEDIATE(w,1)

REDUCE(KEY,VALUES):

//key:aword;values:aniterator

//overcounts

RESULT=0

FOREACHVININTERMEDIATEVALUES:

RESULT+=V

EMIT(KEY,RESULT)

WordCountIllustrated

map(key=line,values=contents):reduce(key=line,values=uniq_counts):

foreachwordwincontents:sumall1sinvalueslist

emit(w,1)emitresult(word,sum)

MAPREDUCE

see1bob1

File

bob1run1

seebobrun

run1see2

seespotsee1spot1

throw

spot1throw1

throw1

为保留的空间在此处放置任何内容云计算教授RoyCampbell

伊利诺伊大学香槟分校(UIUC)

2015年秋季云计算应用-RoyCampbell

1字数为保留的空间在此处放置任何内容字数保存一个包含大量单词的文件，每行中有许多单词计算每

个不同单词在文件中出现的次数为保留的空间在此处放置任何内容字数统计程序

MAP(KEY=LINE,VALUE=CONTENTS):

FOREACHWORDWINVALUE:EMITINTERMEDIATE(w,1)REDUCE(KEY,VALUES):

key:一个单词；values:一个迭代器超过计数RESULT=0

FOREACHVININTERMEDIATEVALUES:

RESULT+=VEMIT(KEY,RESULT)为保留的空间在此处放置任何内容字数统计图解

map(key=line,values=contents):

foreachwordw在内容中：发出（w，“1”）

减少（key=line，values=uniq_counts）：

对值列表中的所有1求和，发出结果（word，sum）文件查看bob运行查看spot抛出MAP查看1bob1运行

1查看1spot1抛出1REDUCEbob1运行1查看2spot1抛出1