数据中心典型编程系.PDFVIP

数据中心典型编程系 统:MapReduce 中国科学院计算技术研究所 詹剑锋 2013年7月3日 提纲  HPC 与数据中心计算之间的异同  典型DC 编程系统-MapReduce  MPI vs. MapReduce  Hadoop online  数据库社区:MapReduce是一个巨大倒退? DC vs. HPC HPC DC System System • 目标：性能 低功耗，低成本 • 关注PetaFlops计算 关注处理PetaBytes数据 • 服务器节点 普通PC • 高速互连网络 以太网 • 硬件比较可靠 硬件简单，软件容错 • 外部存储，数据调入系统计算 内置数据，计算与存储结合 • 批处理 交互负载与数据分析 DC vs. HPC Application Application Programs Programs Machine-Independent Software Programming Model Packages Runtime System Hardware Hardware • 底层细节的编程，例如MPI 面向问题的高层编程，例如MapReduce • 机器相关的模型 机器无关的模型 • 专家编写，不断优化 普通人员编写，运行时系统负责调度，容错 提纲  HPC 与DC Computing之间的差异  典型DC 编程系统-MapReduce  MPI vs. MapReduce  Hadoop online  数据库社区:MapReduce是一个巨大倒退? Google的MapReduce原理 K:v key value key Map K:v Reduce result v