2015AWS在线技术峰会-分会场3-主题二-AWS大数据解决方案.pptxVIP

AWS大数据分析与机器学习;云端大数据哲学：云和大数据是一个硬币的两面;1个实例算1,000小时 = 1,000个实例算1小时;;;;;;;;不断增长的大数据;大数据;S3 Kinesis DynamoDB RDS (Aurora);数据结构 查询类型 vs 存储技术;你的数据的温度是什么?;数据特征: 热数据, 温数据, 冷数据;;我应该使用什么数据存储;新兴的数据库层架构模式？;Amazon Kinesis;大数据;原始模式;事件处理类型;事件处理框架;事件处理框架;使用KCL的实时监控;;Data 驱动: Amazon S3;数据驱动: Amazon DynamoDB;AWS Lambda 从Kinesis读;;CREATE TABLE call_data_records ( start_time bigint, end_time bigint, phone_number STRING, carrier STRING, recorded_duration bigint, calculated_duration bigint, lat double, long double ) ROW FORMAT DELIMITED FIELDS TERMINATED BY , STORED BY com.amazon.emr.kinesis.hive.KinesisStorageHandler TBLPROPERTIES(=”MyTestStream);;高级抽象的离散流：Dstreams 表示为RDDs序列;处理 Amazon Kinesis 流;实时: 基于事件的处理;大数据;机器学习经典算法;Amazon ML介绍;;用户;大 数 据 参 考 架 构 ;Hadoop全系列与Spark全系列完美支持;使用AWS做大数据的行业;Sling 使用AWS存储和分析TB级的数据;VivaKi 在过去使用的是in-house 策略，不能够满足在高峰时段处理PB级数据的需求 将加载六个月的日志数据的时间从20天减少到6小时 将40个人的工作量减少到15人;NDN 使用AWS 为全球用户提供 6亿个视频;Financial Times 使用AWS 减少了 80%的基础设施成本;NTT DOCOMO 通过使用AWS为超过6千万的用户提供语音识别服务;Kellogg在使用AWS的五年当中在基础设施上节省了90万美元;Baylor 医学院使用AWS 加快分析和发现;每天抓取数十亿的网页和文档 使用Amazon Elastic MapReduce进行算法的挖掘和数据去重。 最终的结果是：在几小时内产生详细的，精确B2B技术栈;互联网;用户案例研究之一: AdRoll; 每天600亿请求 ; 最大100ms延迟 ;遍布全球;需要一些具体的东西;AdRoll AWS 架构;数据采集= 批量;竞价;用户案例研究之二: The Climate Corporation;The Climate Corporation – 农田的天气保险;1500亿土壤监控数据;进行仿真： 生成 10K 独特的情景 5万亿的数据点 20 TB数据 5-6千个节点的 Hadoop 集群;面临挑战 昂贵的数据??储（200TB！） 长数据导入时间 长数据处理时间 昂贵的计算资源（50000亿个数据采集点！） Hadoop集群设置和管理的复杂性（5-6千个群集节点！）;;物联网: Dropcam;2009;S3 (静态数据) DynamoDB (元数据) EMR (活动识别) CloudFront (内容分发) EC2 (直播流);;用于连接设备数据的后端分析架构;http://wefeel.csiro.au/#/ ;总结;AWS大数据的独特之处;谢谢！