DynamoDB在高性能广告平台大数据需求下的实践.pdf

DynamoDB在高性能广告平台 大数据需求下的实践 赵堃亮木瓜移动架构师 2014年12月12 日 © 2014 A, Inc. and its affiliates. All rights reserved. May not be copied, modified, or distributed in whole or in part without the express consent of A, Inc. 提纲 • 木瓜移动简介 • DynamoDB介绍 • DynamoDB设计模式 • DynamoDB 在AppFlood中的应用 木瓜移动创立于2008年， 总部位于北京，现有近200名员工 木瓜产品 Papaya Games 木瓜移动于2012年推出了AppFlood ，AppFlood现在已经发展成为中国最大的 程序化移动广告平台。目前AppFlood已经接入了82,000款应用，并为广告主提 供了每天超过8亿次的展示和曝光的机会。 DynamoDB 是一种全托管的 NoSQL 数据库服务 NoSQL数据库的CAP理论 DynamoDB的优势 • 没有运营和维护的负担 • 快速而可预测的性能 • 实现无缝扩展 • 关注自己的产品 DymamoDB基本概念 表 • 不需要严格的表结构定义 条目 • 提供主索引和二级索引 Hash Attribute 主键 “UserID ” • 可以用使用主键读取条目 主键 Range Attribute “GameTitle ” • 可以查询和扫描表数据 属性 • 所有接口都提供HTTPS访问 表设计 • 选择合适的主键 User Profile Table Hash Key Range Key attr. 1 … attr. n user_id game_id Request Log Table Hash Key Range Key attr. 1 … attr. n http_code timestamp 预配置吞吐量 • 写吞吐量 – 1个写单元 = 1 KB数据大小 ×次数 / 秒 – 并发操作，保证条目级别的ACID • 读吞吐量 – 1个读单元 = 4 KB数据大小 ×次数 / 秒 (强一致性) – 强一致性 vs 最终一致性 存储大条目 • 将一个大条目查分存储在多个小条目中 Post Message Table Message_id Part attr. 1 100 0 first section 100 1 second section 100 2 third section • 利用S3服务 Post Message Table Message_id