第五章 亚马逊AWS Amazon EMR(Elastic MapReduce)技术分享_韩小勇.pdfVIP

Amazon EMR(Elastic MapReduce) EMR(Elastic MapReduce)技术分享技术分享 Amazon 韩小勇韩小勇 什么是EMR(Elastic MapReduce) - AWS上的Hadoop生态系统 为什么使用EMR 易于使用 成本低廉 弹 在几分钟内创建一个集群 按小时付费/预留实例/竞价实例 轻松增加或减少容量 可靠 安全 灵活 监控集群，重试失败任务，自动 防火墙/ 隔离的网络/文件加密 轻松安装额外应用程序和 替换性能不佳实例 定制每个集群 部署简单 AWS控制台 AWS命令行 或者使用您习惯的SDK : …… 安装灵活 使用Bootstrap安装更多的应用 /awslabs/emr-bootstrap-actions 实例多样 使用不同的实例构造最优的架构 通用型 CPU密集 内存密集 磁盘及IO m 系列 c3系列 m2系列 d2系列 m3系列 cc1.4xlarge r3系列 i2系列 cc2.8xlarge 批处理 机器学习 Spark以及 大容量HDFS 交互式应用 容量可变 轻松的增加或者减少集群的容量，匹配计算需求。 节约成本 充分利用竞价实例 Core Node Task Node 用预期的花费满足SLA 用更低的价钱超越SLA 使用按需实例，标 使用竞价实例，相比标 准的EC2计价方式 准计价方式最高节省大 于80% 利用利用AmazonAmazon S3 S3作为作为EMREMR的存储的存储 使用Amazon S3做为数据持久存储 • Amazon S3 – 计算和存储分离 – 99.999999999% 的数据持久 • 调整EMR集群的大小或者关闭集群的时候没有 数据丢失 • 数据集中存储，供多个集群进行分析 • 更容易在集群中引入新技术 EMRFS使得S3的使用更加容易 • Read-after-write一致 • 使用EMRFS Metadata实现更快的Listing. • 支持S3的加密 • 对应用层透明– 只需要读/写到“s3://…” 从HDFS到Amazon S3 hive create external table temp_user( firstname VARCHAR(64), lastname VARCHAR(64), address STRI