《阿里云开发者大会-OTS》-(课件).pptVIP

开放结构化数据服务(OTS) 飞天平台的NoSQL数据库服务 Web数据库应用的新挑战 用户和数据规模指数增长 服务可用性要求很高 数据schema变化频繁 用户数到达3500万 图片记录数达到10亿 总数据量近百TB 每秒新增近万条记录 三周 传统数据库方案 MySQL单机数据库无能为力 数据规模只能支持到~1TB MySQL集群方案也有局限 静态数据分区，扩容时数据操作复杂、风险高 表的schema修改需要锁住表，影响可用性 OTS服务特性 数据存储可靠 规模可伸缩 故障自动恢复 数据模型灵活 全托管服务，安全简便 数据统一存储在分布式文件系统中 分布式文件系统负责数据多副本的检测和复制 表被分割成多个数据分区 数据分区的分裂和迁移 各类故障的自动检测 失效的数据分区自动迁移 每一行包含固定数目的主键列和任意数目的属性列 每一行的属性列可以随时动态增加或减少 简洁易用的RESTful API 零运维，开发者更加专注在应用层的逻辑 P1 P1 P2 P1 P2 P3 P4 P1 P2 P3 P4 Id(PK) Column1 Column2 0012 1102 …… 1203 2351 …… 3567 …… 5034 OTS系统架构 OTS服务能力 单表百TB级别数据规模 传统单机数据库的100倍 单表十万级别qps 传统单机数据库的100倍 十毫秒级别单行读写延迟 分钟级别单机故障恢复时间 故障期间1%的数据访问受影响 OSS/OTS/RDS对比 OSS OTS RDS 数据模型 无结构 弱结构 强结构 目标数据量 10PB级别 单表100TB级别 单表TB级别 事务支持 无 有限支持 完整事务支持 编程接口 RESTful API RESTful API SQL语句(MySQL/SQLServer) 如何基于OTS开发应用 RESTful API CreateTable/DeleteTable/ListTable GetRow/PutData/DeleteData GetRowsByRange/BatchModifyData StartTransaction/CommitTransaction SDK: python, C#, Java 应用案例 –云OS手机云空间 数据模型 联系人、短信、通话记录 每一种数据存储在一张OTS表中 表以user_id列进行数据分区 数据量 百亿条总记录数 应用案例 – 手机云空间(续) 增加联系人记录或者修改属性 获取联系人的属性 批量上传短信 批量下载通话记录 OTS后端性能(1) GetRow, 1KB, 10ms OTS后端性能(2) PutData, 1KB, 10ms QA/product/ots Backup slides P1 P2 P3 P4 Id(PK) Column1 Column2 0012 1102 …… 1203 2351 …… 3567 …… 5034 数据分区 数据分区分裂和迁移 P1 P1 P2 故障恢复 P1 P2 P3 P4