阿里数据同步前世今生.pdf

阿里数据同步的前世今生 巴真 陈守元 阿里数据同步前世今生 背景背景 历程历程 展望展望 阿里数据同步前世今生 背景背景 历程历程 展望展望 背景 - 阿里数据开发流程 需求分析需求分析 业务建模业务建模 数据集成数据集成 数据开发数据开发数据开发数据开发 数据测试数据测试 线上部署线上部署 结果集成结果集成 背景 - 阿里数据开发流程 需求分析需求分析 业务建模业务建模 数据集成数据集成 业务异构数据集成到离线计算平台 数据开发数据开发数据开发数据开发 数据测试数据测试 线上部署线上部署 结果集成结果集成 背景 - 阿里数据开发流程 需求分析需求分析 业务建模业务建模 数据集成数据集成 数据开发数据开发数据开发数据开发 数据测试数据测试 线上部署线上部署 结果集成结果集成 计算结果数据导入在线业务平台 背景 – 数据同步本质 同构同构同构同构 异构异构异构异构 在线在线在线在线 离线离线离线离线 阿里数据同步前世今生 背景背景 历程历程 展望展望 历程 – 数据平台的追溯 2005 年 2007 年 2009 年 2013 年 Oracle Rac Hadoop 飞天/Hadoop 2005年 史前时代 数据平台发展之初 计算平台单节点Oracle 调用系统? 同步/集成使用脚本封装 业务需求业务需求 历程 – 数据平台的追溯 2005 年 2007 年 2009 年 2013 年 Oracle Rac Hadoop 飞天/Hadoop 2007年 发展之初 数据业务逐步快速发展 计算平台采用Rac，后扩充为20节点 调用系统使用crontab定时调用 同步/集成仍然采用脚本封装 数据开始为公司决策服务数据开始为公司决策服务 历程 – 数据平台的追溯 2005 年 2007 年 2009 年 2013 年 Oracle Rac Hadoop 飞天/Hadoop 2009年 黄金时期 数据业务进入高速发展时期 计算平台开始使用Hadoop 调用系统使用天网调度系统