- 4
- 0
- 约4.32千字
- 约 41页
- 2019-08-10 发布于广东
- 举报
?计算问题简单,但求解困难 ?待处理数据量巨大(PB级),只有分布在成百上千个节点上并行计算才能在可接受的时间内完成 ?如何进行并行分布式计算? ?如何分发待处理数据? ?如何处理分布式计算中的错误? 简单的问题,计算并不简单! Jeffery Dean设计一个新的抽象模型, 封装并行处理、容错处理、本地化计算、负载均衡的细节,还提供了一个简单而强大的接口 这就是MapReduce Google MapReduce 架构设计师 Jeffrey Dean 分布式数据处理MapReduce ?产生背景 ?编程模型 实现机制 案例分析 Map函数——对一部分原始数据进行指定的操作。每个Map操作都针对不同的原始数据,因此Map与Map之间是互相独立的,这使得它们可以充分并行化 Reduce操作——对每个Map所产生的一部分中间结果进行合并操作,每个Reduce所处理的Map中间结果是互不交叉的,所有Reduce产生的最终结果经过简单连接就形成了完整的结果集 Map: (in_key, in_value) ? {(keyj, valuej) | j = 1…k} Reduce: (key, [value1,…,valuem]) ? (key, final_value) 开发者需编写 两个主要函数 Map输入参数:in_key和in_val
您可能关注的文档
最近下载
- 汽车理论课件 前、后制动器制动力的比例关系.ppt VIP
- T_CPHA 25.9-2023 港口机械移动电缆 第9部分:额定电压0.6_1kV卷盘控制电缆.docx VIP
- 慢性阻塞性肺疾病个案医疗护理讲解.ppt VIP
- IO资本2027中国半导体投资深度分析与展望.pdf VIP
- 清华汽车理论课件04汽车的制动性-5前后制动器制动力的比例关系.pdf VIP
- Aucma澳柯玛FCD-50 60 80 100A321说明书 用户手册.pdf VIP
- 2025仓库管理员劳动合同.docx VIP
- 《消防安全技术综合能力》.pdf VIP
- 军事理论(同济大学) 超星尔雅学习通满分答案章节测验.docx
- 新世纪福音战士(EVA)综合测试题及详细答案.docx VIP
原创力文档

文档评论(0)