阿里数据库团队PostgreSQL实践资料.pptxVIP

阿里数据库团队PostgreSQL实践 杨洋洋(阳帅) yang_yang8708@163.com 阿里巴巴数据库团队 提纲 IDB产品介绍 PostgreSQL实践原因 实践步骤 实践总结 IDB 定位 HA 备份恢复 性能压测 自动化调度 数据质量 安全审计 监控告警 安装配置 元数据 … 用户服务层数据库服务平台(iDB) 资源申请 数据访问 开发设计 生产变更 分库分表 SQL 审核 流程管控 权限管控 运维组件层 淘宝 天猫 支付宝 余额宝 口碑 芝麻信用 钉钉 1688 速卖通 高德地图 UC 阿里云 菜鸟物流 … AliSQL MongoDB PostgreSQL OceanBase …… Oracle 基础技术层 SQLServer IDB是数据库团队自主研发的一个数据库服务产品，是集团去O的重要实施平台。 先后实现对Oracle,MySQL,Oceanbase,SqlServer, PostgreSQL等数据库的查询，数据变更，结构变更的支持。并且支持分库分表的操作。 2010年淘宝启动“去IOE”项目 PostgreSQL实践原因 IDB帮助集团实现了去O，但是自己还在使用Oracle。 2014年底，这台Oracle服务器已经集团仅剩的几台服务器之一，需要承担高昂的License费用。 去O势在必行，用什么来替换它呢？ MySQL? 需要对应用和SQL做大量改造。 达梦? 功能与Oracle兼容，稳定性达不到要求 PostgreSQL? 改造成本低，安全稳定 实践步骤 实践评估：可行性分析、工作量评估。 制定方案：确定迁移的重点和难点，制定迁移方案。 应用改造： SQL改造，代码改造。 数据迁移：结构迁移，数据迁移。 回归与测试：功能回归、性能测试。 性能调优：针对上线后的性能问题进行分析和优化。 SQL改造 时间间隔 Oracle时间相减得到间隔，单位为天。PG时间相减得到 interval值，需要转换为具体的时间值。 Oracle中sysdate + interval xxxx unit(precision) 类型的数据，PG中用now()+ ‘时间间隔字符串’ 的方式来实现。 Now() + ‘1 day’ Now() + ‘14400’::interval 别名设置： 避免使用关键字role,data,label,type,name 作别名，或者加上as 关键字 SQL改造 常量参数需要进行强制类型转换，否则类型则unknown，框架无法自动解析类型。 select id, ‘new’ ::varchar status from t; 这样才能保证应用程序中获取到的status数据类型为 String。 不强制转换获取到的是Object 对象，会导致JavaBean或者DO对象的属性值设置失败。 SQL改造 函数替换：将Oracle部分PG不支持的函数替换为PG的等价函数。 分组合并：Oracle中wm_concat(xxx)转换成PG中的string_agg(xxx,‘,’) over (partition by X oder by Y)来实现。 Oracle中的regexp_replace(xxx,reg)在PG需要加上第三个参数 “,” Bitand(A,B) ：替换成运算符 , A B sysdate： now, current_timestamp NVL ： coalesce DECODE：case when then else end SQL改造 Oracle Merge Into 插入或者更新的SQL改造 PostgreSQL需要联合使用 with 查询, update returning, insert来进行选择性更新或者插入。 with data as (select #id#::integer id,#name#::varchar name,#status#::varchar status), upsert as (update my_user dst set name=, gmt_modified=now(), status=d.status from data d where is not null and d.id=dst.id returning dst.* ) insert into my_user(id,name,status) select nextVal(seq_my_user),,d.status