阿里数据库团队PostgreSQL实践.pptVIP

数据迁移 制定迁移方案：MTK + DSQL(分布式数据库SQL引擎) MTK迁移任务可以并行到表级别 DSQL迁移任务可以并行到行级别，解决大表迁移时间长的问题。 重要的数据使用触发器记录变更，全量迁移完成之后再做增量迁移 第三十页，共四十二页。 数据迁移 制定迁移脚本 元数据迁移 Schema, 表结构，视图，序列，…… 制定数据迁移任务脚本 大表单独使用任务优先迁移 如 任务一：runMTK.sh t1 任务二： runMTK.sh t2 小表批量迁移 如 任务三：runMTK.sh t7,t8,t9,t10 第三十一页，共四十二页。 数据迁移 先建立索引再进行数据迁移 建立索引比较耗时，每个索引创建时间与接近迁移一次数据时间 一个带7个索引的样本表进行测试 样本（21G/） 同步数据时间(分钟) 创建索引时间(分钟) CPU 总耗时 先数据后索引 11 130 6%(60%)/4%(100%) 2H 先索引后数据（多线程写） 33 0 14%(70%) 40 第三十二页，共四十二页。 迁移性能 我们进行了3轮演练，比较性能，进行方案改进 第三十三页，共四十二页。 开始迁移 400+G的数据，分两批迁移， 实时性要求不高的表先迁移 实时性，一致性要求高的表后迁移，200G数据耗时约1个小时。 第三十四页，共四十二页。 应用数据源切换 启动改造后的应用代码，使用PG数据源 应用功能回归。 应用性能测试。 根据运行情况进行应用代码，应用SQL与数据库优化。 第三十五页，共四十二页。 第三十六页，共四十二页。 周边设施建设 主备复制 跨机房一主一备 高可用性监控 AliMonitor 备份恢复方案 每天一全备 WAL日志增量备份 备份压缩同步到OSS保存 如果发生故障，由OSS拉取全备数据恢复，再应用增量数据，恢复服务。 第三十七页，共四十二页。 Postgres Conference China 2016 中国用户大会(上海站） 阿里数据库团队PostgreSQL实践 杨洋洋(阳帅) 阿里巴巴数据库团队 第一页，共四十二页。 提纲 IDB产品介绍 PostgreSQL实践原因 实践步骤 实践总结 第二页，共四十二页。 IDB 定位 HA 备份恢复 性能压测 自动化调度 数据质量 安全审计 监控告警 安装配置 元数据 … 用户服务层数据库服务平台(iDB) 资源申请 数据访问 开发设计 生产变更 分库分表 SQL 审核 流程管控 权限管控 运维组件层 淘宝 天猫 支付宝 余额宝 口碑 芝麻信用 钉钉 1688 速卖通 高德地图 UC 阿里云 菜鸟物流 … AliSQL MongoDB PostgreSQL OceanBase …… Oracle 基础技术层 SQLServer 第三页，共四十二页。 IDB是数据库团队自主研发的一个数据库服务产品，是集团去O的重要实施平台。 先后实现对Oracle,MySQL,Oceanbase,SqlServer, PostgreSQL等数据库的查询，数据变更，结构变更的支持。并且支持分库分表的操作。 第四页，共四十二页。 第五页，共四十二页。 2010年淘宝启动“去IOE”项目 第六页，共四十二页。 PostgreSQL实践原因 IDB帮助集团实现了去O，但是自己还在使用Oracle。 2014年底，这台Oracle服务器已经集团仅剩的几台服务器之一，需要承担高昂的License费用。 去O势在必行，用什么来替换它呢？ MySQL? 需要对应用和SQL做大量改造。 达梦? 功能与Oracle兼容，稳定性达不到要求 PostgreSQL? 改造成本低，安全稳定 第七页，共四十二页。 实践步骤 实践评估：可行性分析、工作量评估。 制定方案：确定迁移的重点和难点，制定迁移方案。 应用改造： SQL改造，代码改造。 数据迁移：结构迁移，数据迁移。 回归与测试：功能回归、性能测试。 性能调优：针对上线后的性能问题进行分析和优化。 第八页，共四十二页。 SQL改造 时间间隔 Oracle时间相减得到间隔，单位为天。PG时间相减得到 interval值，需要转换为具体的时间值。 Oracle中sysdate + interval xxxx unit(precision) 类型的数据，PG中用now()+ ‘时间间隔字符串’ 的方式来实现。 Now() + ‘1 day’ Now() + ‘14400’::interval 别名设置： 避免使用关键字role,data,label,type,name 作别名，或者加上as 关键字 第九页，共四十二页。 SQL改造 常量参数需要进行强制类型转换，否则类型则unknown，框架无法自动解析类型。 select id