第7章 大数据处理平台.pptx

大数据处理平台;;传统计算：单机计算;分布式计算;分布式数据存储;大数据时代;问题总结;大数据处理平台的特点;;基于开源系统的大数据处理平台;批量大数据处理;Hadoop;Apache Hadoop;;MapReduce;;实例：微博年度热词统计;实例：微博年度热词统计(续);实例：微博年度热词统计(续);Hadoop 应用;流式大数据处理;案例分析：动机;案例分析：动机;流式计算;流式数据;流式计算的应用;流式计算处理流程;Twitter Storm简介;Storm基本概念;Spout Bolt;Tuple Stream;Topology;实例：微博实时热门话题分析;大规模图处理;;动机;示例：基于网络图的推荐;数据依赖;BSP(Bulk Synchronous Parallel);BSP程序结构;Pregel: 大规模图处理系统;Pregel程序流程图;3;实例：微博用户影响力排名;PageRank算法;习题;