开发人员指南..pdf

Amazon Elastic MapReduce 开发人员指南 API Version 2009-03-31 Amazon Web Services Amazon Elastic MapReduce 开发人员指南 Amazon Elastic MapReduce: 开发人员指南 Amazon Web Services Copyright © 2013 Amazon Web Services, Inc. and/or its affiliates. All rights reserved. The following are trademarks or registered trademarks of Amazon: Amazon, A, A Design, Amazon DevPay, Amazon EC2, Amazon Web Services Design, AWS, CloudFront, EC2, Elastic Compute Cloud, Kindle, and Mechanical Turk. In addition, A graphics, logos, page headers, button icons, scripts, and service names are trademarks, or trade dress of Amazon in the U.S. and/or other countries. Amazons trademarks and trade dress may not be used in connection with any product or service that is not Amazons, in any manner that is likely to cause confusion among customers, or in any manner that disparages or discredits Amazon. All other trademarks not owned by Amazon are the property of their respective owners, who may or may not be affiliated with, connected to, or sponsored by Amazon. Amazon Elastic MapReduce 开发人员指南 什么是 Amazon EMR？ 1 Amazon EMR 有什么用途？ 2 Amazon EMR 功能 3 Amazon EMR 是如何工作的？ 6 Hadoop 6 节点 7 步骤 7 集群 8 如何向集群发送工作 8 集群的生命周期 9 为 Amazon EMR 提供了什么工具？ 9 开始使用：使用 Amazon EMR 统计字数 13 注册服务。 13 创建 Amazon S3 存储段 14 上传您的数据 15 上传您的脚本 15 启动集群 16 监控集群 23 查看结果 26 查看调试日志（可选） 27 清除 29 我从这里可以了解哪些内容？ 31 计划 Amazon EMR 集群 32 选择 AWS 地区 32 选择要运行的集群类型 35 选择虚拟服务器的数量和类型 36 实例组 37 虚拟服务器配置 38 确保预留实例的容量（可选） 40 通过竞价型实例降低成本（可选） 40 选择按竞价型实例方式启动的内容 41 Amazon EMR 中的竞价型实例定价 43 可用区域和地区 43 启动集群中的竞价型实例 43 更改集群中的竞价型实例数量 49 竞价型实例故障排除 52 配置虚拟服务器软件 52 选择系统映像 53 选择 Hadoop 的版本 64 已支持的 Hadoop 版本 64 Hadoop 1.0 新功能 65 Hadoop 0.20 新功能 66 Amazon EMR Hadoop 与 Apache Hadoop 有何不同？ 66 Amazon EMR 中适用的 Hadoop 修补程序 67 引导操作以安装其他软件（可选） 69 选择集群生命周期：长时间运行或暂时性运行 81 准备输入数据（可选） 83 Amazon EMR 可以接受的输入类型 84 与 Amazon EMR 兼容的文件系统 84 如何将数据导入 Amazon EMR 86 上传数据到 Amazon S3 87 使用分布式缓存导入文件 90 如何处理压缩文件 93 将 Amazon DynamoDB 数据导入 Hive 93 使用 AWS DirectConnec