Lec3-MapReduce实践-张伟平.pdfVIP

第三讲 分而治之的智慧： MapReduce 张伟平 认识MapReduce Why? • 数据规模非常大，Facebook每天增加2.5PB数据 • 读取100TB的数据，以50MB/s的速度，在单节点上需要23 天，而在1000个节点集群上只需33分钟 • 当前发展 p 一些公司无法处理用户行为记录，只能过段时间就丢弃 这些数据 p 云计算能力的快速增长 p 低端服务器的性能/价格方面已大约提高了12倍 • 高性能单个服务器 p 向上扩展有限(硬件、软件、成本) p 无法满足现代每天的大规模计算需要 Why? • 并行计算 p 快速、可靠 p 横向扩展有限（最大数百台机器） p 维护和管理并行数据库比较困难 • 定制的高性能集群 p 定制：满足客户软件需求的高性能硬件 p 快速可靠，但是成本高昂 p 对于数据密集型计算：横行扩展优于纵向扩展(价格太高） • 商业服务器集群（with MapReduce) p 商业化服务器: 非定制，如8核16G内存等 p MapReduce为这种商业化集群而设计 分布式处理数据 • 问题：如何对分布在服务器集群上的网站计算PageRank ？ • 主要挑战： u 怎样把一个大问题分为可以并行处理的小任务