商业大数据分析许鑫大数据8流计算.pptVIP

许 鑫 华东师范大学经济与管理学部 E-mail: xxu@infor.ecnu.edu.cn 流计算 大数据 Big Data 提纲 8.1 流计算概述 8.2 流计算处理流程 8.3 流计算应用 8.4 流计算开源框架 – Storm 8.5 Spark Streaming 8.6 Samza 8.7 Storm 、 Spark Streaming 和 Samza 的应用场景 8.8 Storm 编程实践 8.1 流计算概述 ? 8.1.1 静态数据和流数据 ? 8.1.2 批量计算和实时计算 ? 8.1.3 流计算概念 ? 8.1.4 流计算与 Hadoop ? 8.1.5 流计算框架 ? 很多企业为了支持决策分析而构建的数据仓库系统，其中存放的大量 历史数据就是静态数据。技术人员可以利用数据挖掘和 OLAP （ On- Line Analytical Processing ）分析工具从静态数据中找到对企业有价 值的信息 8.1.1 静态数据和流数据 ? 近年来，在 Web 应用、网络监控、传感监测等领域，兴起了一种新 的数据密集型应用 —— 流数据，即数据以大量、快速、时变的流形式 持续到达 ? 实例： PM2.5 检测、电子商务网站用户点击流 ? 流数据具有如下特征： – 数据快速持续到达，潜在大小也许是无穷无尽的 – 数据来源众多，格式复杂 – 数