并发程序设计语言.ppt

Typical problem solved by MapReduce 读入数据: key/value 对的记录格式数据 Map: 从每个记录里extract something map (in_key, in_value) - list(out_key, intermediate_value) 处理input key/value pair 输出中间结果key/value pairs Shuffle: 混排交换数据 把相同key的中间结果汇集到相同节点上 Reduce: aggregate, summarize, filter, etc. reduce (out_key, list(intermediate_value)) - list(out_value) 归并某一个key的所有values，进行计算 输出合并的计算结果 (usually just one) 输出结果 Mapreduce Framework 总结 并行程序设计的四种模型。 并行语言需要支持的两大内容：进程控制，通讯。 并行语言对不同并行程序设计模型的支持主要体现在对通讯方式的支持上。 并行语言现状：没有广泛使用的独立并行语言，基本都属于在传统语言如C,C++,Java上增加对进程/线程，共享/通讯的支持（两种扩展方式：语法直接扩展；并行库）。 总结 并发性是目前计算机科学技术领域最重要的理论和技术挑战