基于Amazon-S3构建数据平台.pptxVIP

;;?2018,AmazonWebServices,Inc.oritsaffiliates.Allrights

reserved.;Architecture;数据平台架构三步走;;Principles;Principles;Infrastructure as Code;CloudFormation vs Terraform;LeastPrivilege;LeastPrivilege;Soft Delete;Soft Delete;ConventionoverConfiguration;Convention over Configuration;Ifyoucan’tmeasureit,youcan’timproveit;Ifyoucan’tmeasureit,youcan’timproveit;WhyS3?;HDFSvs S3;如何设计 S3 存储;before we start;S3 存储设计;demo code;;过期数据自动删除;;S3 bucket metric;;S3 AccessLog;;;EMR + auto scaling;autoscaling+Presto

白天使用较多，增加节点

夜间减少节点，添加到

EMR集群

异步执行

审计+ 权限管理;数据质量问题如何解决?;查询一个结果

例如