Amazon_EMR_深入剖析.pdfVIP

Amazon EMR 深入剖析 邓明轩 亚马逊AWS解决方案架构师 2016年5月26 日 © 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved. 议程 EMR和新功能 EMRFS 存储优化 客户案例 Amazon EMR • 托管Hadoop群集，支持Spark, Presto和其它Apache/Hadoop堆栈中的 应用 • 和AWS平台上的不同服务集成，包括Amazon S3, Amazon DynamoDB, Amazon Kinesis, Amazon Redshift和AWS KMS • 和AWS平台完整集成以提供安全保障，可以集成的安全服务包括AWS IAM 角色, KMS, S3客户端加密, Hadoop无缝加密, Amazon VPC和 HIPAA资质 • 内置群集扩展功能，可以和Amazon竞价实例市场集成，以充分降低群 集使用成本 新功能 EMR Release 4.6.0 • 支持HDFS无缝加密的Hadoop KMS • 支持Spark 1.6.1, Zeppelin 0.5.6 • 支持Presto 0.43 • 支持Hive, Oozie, Hue 3.7.1 • 通过更简单的API启动和配置群集 智能调整（Intelligent Resize） • 根据可用的资源逐步扩展 • 在群集缩减时会等待工作完成后才执行操作 • 可以扩展／缩减核心节点和对应的HDFS 通过EMR File System (EMRFS) 和Amazon S3 集成 使用Amazon S3作为持久数据存储方式 • 将存储和计算分离 • 调整和关闭Amazon EMR群集时不会 EMR 丢失数据 • 可以将多个Amazon EMR群集指向同一 Amazon S3 个Amazon S3 数据源 EMR • 当分析技术演进的时候更容易升级基础 架构 EMRFS 使Amazon S3 的使用变的非常简单 • 写后读一致性（Read-after-write ） • 非常快的list操作 • 支持Amazon S3 的加密方法 • 对应用透明，使用: s3:// Amazon S3 从HDFS 到Amazon S3 CREATE EXTERNAL TABLE serde_regex( host STRING, referer STRING, agent STRING) ROW FORMAT SERDE org.apache.hadoop.hive.contrib.serde2.RegexSerDe ) LOCATION ‘samples/pig-apache/input/ 从HDFS 到Amazon S3 CREATE EXTERNAL TABLE serde_regex( host STRING, referer STRING, agent STRING) ROW FORMAT SERDE org.apache.hadoop.hive.contrib.serde2.RegexSerDe ) LOCATION s3://elasticmapreduce.samples/pig- apache/input/ 通过可选的元数据层提供一