大数据及MapReduce编程模型94.pptxVIP

;; 互联网应用数据急剧增长 互联网用户数量巨大，日益活跃 ? 微博、论坛、电子商务网站等 ? 互联网上的用户生成数据（User Generated Content， UGC） 淘宝网每天新增数据40TB以上 百度每天处理10PB量级的数据， 总数据量达1000PB;; ? 科学实验数据规模巨大，增长迅猛 生物工程 气候监测 高能物理 天文观测 生态环境 …. ;; ? 维基（Wiki）百科的定义 Big data is a collection of data sets so large and complex that it becomes difficult to process using on-hand database management tools ? IDC的定义 Big data technologies describe a new generation of technologies and architectures, designed to economically extract value from very large volumes of a wide variety of data, by enabling high-velocity capture, discovery, and/or analysis. ;一、大数据概述;? 大数据技术对经济社会和科研都在产生重 要影响 – 互联网产业、电子商务推荐、日常生活 ;;? 2012年3月29日，美国政府宣布投资2亿 美元启动“大数据研发计划” （ Big Data RD Initiative ） 美NSF、国防部、能源部、卫生总署等七部委 ? 我国科技部和基金委等部门高度重视 2013年973新立项项目：2项 “十二五” 国家科技计划信息技术领域2013年度备选项 目征集指南 ? 国内外学术界的热点课题 SIGMOD、 VLDB、OSDI、NSDI等著名会议 Nature、Science杂志;; ? 很多大数据应用对响应时间要求高 – 规模大、响应快：对存储和处理提出了很大挑战 – 2007年前, Facebook使用数据库，总数据量15TB ? 目前，Facebook每天新增加的数据约70TB – 传统并行数据库扩展性受限，节点规模很少超过100， 且价格昂贵 ? 2011年，Facebook系统具有 2700多个节点，Google单个数据中心在上 万个节点集群上存储了约10PB数据 ? 如何设计可扩展、低成本、快速响应的大 数据存储和处理系统？;;;;? 大数据时代的算法新理论 – 新的计算复杂性和算法设计理论 ? 复杂大数据的建模、表示和可视化 – 多源异构大数据：由大到小 ? 面向大数据的新型存储和计算系统架构 – 大规???并行/分布处理 ? 大数据（并行）挖掘算法及应用;;;;;;;;;;You can have at most two of these properties for any shared-data system ; 为什么牺牲数据一致性？ 牺牲P、A对互联网上的大数据 应用来说难以容忍;;;;;计算问题简单，但求解困难 待处理数据量巨大（PB级），只有分布在成百上千个节点上并行计算才能在可接受的时间内完成 如何进行并行分布式计算？ 如何分发待处理数据？ 如何处理分布式计算中的错误？ ;MapReduce：大规模数据处理;MapReduce特性;MapReduce特性;MapReduce;MapReduce编程模型;map;reduce;;任务执行过程;源文件：GFS Map处理结果：本地存储 Reduce处理结果：GFS 日志：GFS;Shuffle 和 Sort;;Combiner;并行化;MapReduce的并行执行;Worker故障 Master 周期性的ping每个worker。如果master在一个确定的时间段内没有收到worker返回的信息，那么它将把这个worker标记成失效 重新执行该节点上已经执行或尚未执行的Map任务 重新执行该节点上未完成的Reduce任务，已完成的不再执行 Master故障 定期写入检查点数据 从检查点恢复;任务备份机制 慢的workers 会严重地拖延整个执行完成的时间 由于其他的任务占用了资源 磁盘损坏 解决方案：推测性的执行（Speculative execution） 在即将完成时，备份任务 多个worker同