基于EMRSpark服务大数据分析.PDFVIP

基于 EMR Spark 服务的大数据分析 架构搭建 嵇诚 ，AWS 资深技术讲师 AWSAWS 中国（宁夏）区域由西云数据运营中国（宁夏）区域由西云数据运营 AWSAWS 中国（北京）区域由光环新网运营中国（北京）区域由光环新网运营 知识点 • 实时大数据处理与批处理概念 • 在 AWS 上实现实时处理与批处理的基本框架 • AWS EMR 与Amazon Kinesis 的功能与特点 • Demo 演示 AWS 中国（宁夏）区域由西云数据运营 AWS 中国（北京）区域由光环新网运营 数据价值 与 反应时间 单体数据随着时间,价值逐步减低 g n i k a m n- 时间敏感型决策系统 基于批量数据的传统BI应用 o i s i c e d o e t v a i t t a c i d d f e o r P e / u e l v a i V t n e v e r Actionable Reactive Historical P Real time Seconds Minutes Hours Days Months AWS 中国（宁夏）区域由西云数据运营 AWS 中国（北京）区域由光环新网运营 数据分析的实时 与 批处理场景 Batch Processing Stream Processing 每小时日志汇总 实时显示的指标 每天的反欺诈报告 实时显示的话费 ／账单 每月的网站点击排名 实时分析用户点击行为 每月账单汇总 实时监测IOT设备状态 AWS 中国（宁夏）区域由西云数据运营 AWS 中国（北京）区域由光环新网运营 大数据 Lambda 结构 Streaming 层 用来接受数据注入 Speed 层 实时处理框架 Persistence 层 持久化数据 Batch层 批处理框架 Serving 层 进一步处理或BI展现层 AWS 中国（宁夏）区域由西云数据运营 AWS 中国（北京）区域由光环新网运营 Lambda Amazon S Batch Layer L e Redshift a r y v architecture e i