移动应用形态在数据库上所需适应性改变_敬宓.pdfVIP

移动应用在数据库上所需的 适应与改变 @lockfree Agenda • LBS 的应用特点与面临的问题 • 当 RDBMS 与 NOSQL 遇到 LBS • 街旁的解决之道：CrabDB 多一维的视角 实时的签到计算 • 签到 • 计算地主 • 计算惊喜 • 弹出攻略 • 去过的好友 • 计算积分 • 大量实时计算 实时的签到计算(Cont.) 实时的签到计算(Cont.) 迅猛的压力高峰 与众不同的广告类型 快速的需求变化 • LBS 的快速发展 • 未来产品的发展 • 性能的需求 • 低成本的硬件平台 Agenda • LBS 的应用特点与面临的问题 • 当 RDBMS 与 NOSQL 遇到 LBS • 街旁的解决之道：CrabDB RDBMS 如何处理？ • 一张简单的表 loc_post （示例） id loc_id user_id private …… 0 1 3 0 1 1 3 1 2 1 3 2 • 普通用户查询 SELECT Count(DISTINCT user_id) FROM loc_post WHERE loc_id = 1 and private = 0; 1 SELECT Count(user_id) FROM loc_post WHERE loc_id = 1 and private = 0; 1 • 朋友查询 SELECT Count(DISTINCT user_id) FROM loc_post WHERE loc_id = 1 and private = 1; 1 SELECT Count(user_id) FROM loc_post WHERE loc_id = 1 and private = 1; 2 SELECT Count(DISTINCT user_id) FROM loc_post WHERE loc_id = 1 and private = 1 and 1 user_id in (1, 2, 3); • 自己查询 RDBMS 如何处理？(Cont.) • 查询/计算类型很多 SELECT … WHERE … SELECT … IN … SELECT … ORDER BY … SELECT Count(…) … GROUP BY … ORDER BY … UPDATE … INSERT … • 索引过多 • 数据一致性要求高，不能批量/推迟计算，IO 过多， 缓存失效很快 RDBMS 如何处理？(Cont.) • 的确可以做很多优化（分区、设计更合理的 schema、数据库调优、etc ） • 应用开发工程师需要注意的优化情况太多 • 不利于产品的快速开发和迭代 NOSQL @ Foursquare(2011.06) • 9M users • ~3M checkins/day(52 checkin/sec) • 20M places • MongoDB, PostgreSQL (legacy, migrating off) • all on EC2 • ~40 machines (68GB, m2.4xl on EC2) /2011/06/17/presentation-on- how-foursquare-uses-mongodb/ 选择