第八章 Amazon S3不仅仅是存储.pdfVIP

Amazon S3不仅仅是存储 Amazon S3 介绍 Amazon S3是 AWS 最早发布的诸多服务之一，用作可信存储。所谓可信，AWS 给出的概念是： 「在指定年度内为对象提供 99.999999999% 的持久性和高达 99.99% 的可用性」，换句话说就是任何存储于Amazon S3的数据基本不可能丢 失，在一个年度内，不超过1小时（3153.6s）的宕机时间。除此之外，AmazonS3 还提供如下特性： · 跨区域复制：只需要简单的配置，存储于Amazon S3中的数据会自动复制 到选定的不同区域中。当你的数据对象的收集分散在不同的区域，而处理集中在 某些区域时非常有用。 · 事件通知：当数据对象上传到 AmazonS3 中或从中删除的时候会发送事件 通知。事件通知可使用 SQS 或 SNS 进行传送，也可以直接发送到 AWS Lambda 进行处理。比如说，上传到Amazon S3的图片的Resize。 · 版本控制：数据对象可以启用版本控制，这样你就可以很方便地进行回滚。 对于应用开发者来说，这是个特别有用的特性。 · 加密：Amazon S3的访问本身是支持 SSL （HTTPS）的，保证传输的安全， 对于数据本身，你可以通过Server Side Encryption （AES256）来加密存储在 Amazon S3的数据。 · 访问管理：通过 IAM/VPC 可以控制AmazonS3的访问粒度，你甚至可以控 制一个Bucket （S3对数据的管理单元，一个Bucket类似于一组数据的根目录） 里面的每个Folder，甚至每个文件的访问权限。 · 可编程：可以使用 AWS SDK 进行客户端或者服务端的开发。 · 成本监控和控制：Amazon S3 有几项管理和控制成本的功能，包括管理成 本分配的添加存储桶标签和接收账单警报的 Amazon Cloud Watch 集成。 · 灵活的存储选项：除了 Amazon S3Standard，还有低成本的 Standard – Infrequent Access 选项可用于非频繁访问数据，存储的价格大概是 Standard 的 2/5。至于那些访问不了多少次的冷数据 （如1年前的Log），可以存储在 Glacier 中，价格在 Standard 的 1/4 （1T $7/月），缺点是需要几个小时来恢 复数据 （估计是存放于离线的磁带中）。 基本用法 Amazon S3 的用户可以使用 AWS Management Console 来创建 Bucket （类比文 件系统的根目录），以及 Bucket 内部的目录树，并上传文件，但这不是使用 Amazon S3 的最佳方式。日常的主要操作应该使用 AWS CLI 和 AWS SDK 完成。 AWS CLI 安装 AWS CLI 可以使用 pip / brew 等安装工具，不再详述。AWS CLI 是 AWS 官方提供的 CLI 工具，简单好用，我会另行撰文深度介绍 AWSCLI。AWSCLI 目 前不支持命令和参数的自动补全，从 AWSre:Invent2015 透露出来的信息，其 团队在做一些自动补全的尝试，未来会变得更加人性化。如果你想现在就用得更 舒服一些，可以使用 sAws。 使用 AWS CLI 操作 Amazon S3 非常简单，创建/删除 Bucket 可以使用 如果要像一般的文件系统一样操作 Amazon S3，可以使用 aws s3 命令： 此外，aws s3 还提供了 sync，方便本地文件和 Amazon S3 上的文件互相 sync，比如我本地用 Pandoc 编译出了 Markdown 撰写的 reveal.js 的 slides，可以这样同步到 Amazon S3： AWS SDK AWSSDK 提供了对几乎所有主流语言的支持，在程序里使用 AmazonS3，一般的 流程是： · 创建 AWS Connection （这一步需要用到你的 Access Key）。 · 使用 Connection 创建 Amazon S3 对象。 · 使用 AmazonS3API 进行各种 API 操作，比如创建 Bucket，上传文件等。 这里列一个 JavaScript 的例子：