实时数据处理、检索与机器学习.pdfVIP

AWS实时流处理，在线检索与机器学习 雷洋 AWS解决方案架构师 2016年5月26 日 © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 主要议程 • AWS实时流处理服务Kinesis • AWS在线检索服务ElasticSearch • AWS机器学习服务与智能应用 数据在持续增长 产品使用情况 88% : 购买/ 出售交易数据 系统日志 73% : 日志 59% : 事件数据 57% : 邮件 43% : 社交媒体数据 用户对话 大数据来源 三种典型数据分析场景 历史回顾型 把握现在型 展望未来型 数据分析与报告 实时数据处理与展示 开启智能预测 Amazon Redshift, Amazon Kinesis Amazon RDS Amazon EC2 Amazon Machine Learning Amazon S3 AWS Lambda Amazon EMR Amazon ElastiSearch 数据时效性和响应时间 • 基于算法的交易系统 10 毫秒 • 广告实时竞标 100 毫秒 • 常见的物联网数据处理 5 到10秒 • 基础设施的实时监控 1 分钟 • 在线购物推荐 5 到20 秒钟 • 大部分商业智能分析 30 分钟 • 社交媒体公众账号在线监听 AWS实时流处理服务Kinesis Amazon Kinesis 全托管的实时大规模数据流处理服务 Aggregate and