- 1、本文档共40页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
第3章 并行计算技术
第3章并行计算技术;提 纲;;世界太复杂、单机Handle不了;
并行计算!!!
;不可并行的任务;分布式数据处理MapReduce ;如何对付大数据处理:分而治之;如何对付大数据处理:分而治之;大数据任务划分和并行计算模型 ;MapReduce在三个层面上的基本构思;海量数据存储;MapReduce中的Map和Reduce操作的抽象描述;
reduce: (k2; [v2]) ? [(k3; v3)]
输入: 由map输出的一组键值对[(k2; v2)] 将被进行合并处理将同样主键下的不同数值合并到一个列表[v2]中,故reduce的输入为(k2; [v2])
处理:对传入的中间结果列表数据进行某种整理或进一步的处理,并产生最终的某种形式的结果输出[(k3; v3)] 。
输出:最终输出结果[(k3; v3)]
Map和Reduce为程序员提供了一个清晰的操作接口抽象描述
;基于Map和Reduce的并行计算模型;基于MapReduce的处理过程示例--文档词频统计:WordCount;基于MapReduce的处理过程示例--文档词频统计:WordCount;基于MapReduce的处理过程示例--文档词频统计:WordCount
MapReduce处理方式
使用3个reduce节点:
reduce节点1:
输入:(good, 1), (good, 1), (good, 1), (good, 1), (good, 1)
输出:(good, 5)
reduce节点2:
输入:(has, 1), (is,1), (is,1), (is, 1),
输出:(has, 1), (is, 3)
reduce节点3:
输入:(the, 1), (today, 1), (today, 1)
(weather, 1), (weather,1), (weather, 1)
输出:(the, 1), (today, 2), (weather, 3);MapReduce伪代码(实现Map和Reduce两个函数):
;MapReduce提供统一的计算框架;MapReduce最大的亮点;MapReduce提供的主要功能*;Barrier; 平滑无缝的可扩展性 ;Hadoop简介 ;Hadoop MapReduce框架;Hadoop Map/Reduce;;Inject Points;Job Tracker Task Tracker;Job Sheduler;Job Scheduler Web UI;Failure;Job Shell;Web UI;代码实例;Map Class;Reduce Class;作业;谢 谢!
您可能关注的文档
- 第3章 固液界面.ppt
- 第2节 复制叉.ppt
- 第3章 嵌入式Linux的开发环境及工具软件(2013-8-3).ppt
- 第3章 IO流.ppt
- 第3-2 用户体验设计II-概念性需求范例.ppt
- 第3章 搜索策略.ppt
- 第3章 用例和用例图-2.ppt
- 第3章 程序设计2014.ppt
- 第3章 1 根的形态结构与功能.pptx
- 第3章-5逻辑移位.ppt
- 剧本杀行业报告:内容创作规范与剧本市场拓展策略.docx
- 剧本杀行业区域市场区域文化特色与市场潜力分析报告.docx
- 剧本杀行业区域市场拓展实战案例研究.docx
- 剧本杀行业区域市场拓展路径与模式探索报告.docx
- 剧本杀行业区域市场竞争态势与品牌差异化策略研究报告.docx
- 剧本杀行业2025年西北区域市场市场细分领域竞争态势与品牌竞争策略分析研究报告.docx
- 剧本杀行业2025年西北市场拓展前景预测报告.docx
- 剧本杀行业2025年长沙市场发展潜力分析报告.docx
- 剧本杀行业2025年长三角市场竞争策略与布局分析.docx
- 医疗行业数据合规:2025年数据安全法实施后的合规监管挑战与应对.docx
最近下载
- 燃气管道及附属设施作业活动风险管控清单.pdf VIP
- 2025至2030年贵州省煤炭工业投资分析及前景预测报告.docx
- 党政领导干部拟任县处级资格考试试题及答案.docx VIP
- 2023广东清远市清城区总工会招聘3人考试备考题库及答案解析.docx VIP
- 个人信息保护影响评估报告(模板).docx VIP
- 2025党政领导干部拟任县处级资格考试试题及答案.pdf VIP
- 2025中核集团2026届提前批校园招聘笔试备考题库及答案解析.docx VIP
- 2024广东清远市清城区总工会招聘2人笔试备考试题及答案解析.docx VIP
- (2024秋新版)人教版七年级数学上册全册PPT课件.pptx
- 关于绑架的小故事-绑架关起来的故事.docx VIP
文档评论(0)