阿里数据同步的前世今生.pptxVIP

阿里数据同步前世今生历程展望背景

背景历程展望阿里数据同步前世今生

背景-阿里数据开发流程需求分析业务建模数据集成数据开发数据测试线上部署结果集成

需求分析业务建模数据集成数据开发数据测试线上部署结果集成业务异构数据集成到离线计算平台背景-阿里数据开发流程

需求分析业务建模数据集成数据开发数据测试线上部署结果集成计算结果数据导入在线业务平台背景-阿里数据开发流程

同构在线异构离线背景–数据同步本质

历程背景展望阿里数据同步前世今生

2005年史前时代2005年2007年2009年2013年OracleRacHadoop飞天/Hadoop数据平台发展之初计算平台单节点Oracle调用系统?同步/集成使用脚本封装业务需求历程–数据平台的追溯

2005年2007年2009年2013年OracleRacHadoop飞天/Hadoop2007年发展之初数据业务逐步快速发展计算平台采用Rac，后扩充为20节点调用系统使用crontab定时调用同步/集成仍然采用脚本封装数据开始为公司决策服务历程–数据平台的追溯

2005年2007年2009年2013年OracleRacHadoop飞天/Hadoop2009年黄金时期数据业务进入高速发展时期计算平台开始使用Hadoop调用系统使用天网调度系统同步/集成使用定制化工具数据开始为社会提供服务历程–数据平台的追溯

2005年2007年2009年2013年OracleRacHadoop飞天/Hadoop2013年云计算平台数据平台成为集团单独事业部门计算平台为Hadoop/飞天调度系统使用工作流+分布式资源框架同步工具采用DataX/TT数据平台将作为阿里云计算平台为社会提供服务历程–数据平台的追溯

阿里集团前端服务(淘宝/天猫/一淘/B2B/支付宝)MysqlOracleHBaseOBTFSDataXTT离线计算平台实时计算平台DataXMysqlOracleHBaseOBTFS数据产品报表展现应用Adhoc应用层源数据层数据集成层计算中心层数据同步层宿数据层结果展现层数据流动历程–数据流动的现状

应用数据同步总线结构化数据实时流式同步非结构化数据实时流式同步结构化数据离线同步流式数据计算框架离线数据计算框架实时计算MySQLClusterHBase中间层搜索引擎非结构化数据源应用服务器分布式资源池数据中心结构化数据源对内数据支撑：商业智能与决策支持产品运营分析系统运维数据产品应用中间件服务工作流调度历程–数据流动的现状

实时结构化非实时非结构化现状–同步的领域细分

现状–同步的领域细分维度DataXTT系统目标解决任意异构数据源的数据离线交换解决异构数据实时传输的平台实时性低高数据结构化结构化、半结构化结构化、非结构化(日志)数据源支持覆盖阿里几乎所有类型的数据存储、计算系统较DataX少，数据源必须提供增量解析接口服务形式工具包、服务平台服务平台开源类似产品Sqoopflume、chukwa、scribe

DataXService现状–DataX结构管理、监控数据同步集群DataXMaster管理、监控每个同步作业DataXSlave管理、监控每个同步子任务DataXInstance管理、监控每个同步示例/同步插件DataXPlugin负责数据的抽取、转换、装载ServiceClusterMasterMasterSlaveSlaveSlaveInstanceInstanceInstanceReaderWriterTransformer

现状–DataX结构DataX集群MSMSMSSSSSSSSSSMSMasterSlaveLaunchFailOver

现状–TT结构TT集群FileTailerDBSyncShrekBrokerBrokerBrokerBrokerHBaseODPSWriterHDFSWriter

展望背景历程阿里数据同步前世今生

展望–阿里大数据和云数据云服务数据同步离线数据总线分布式资源管理框架同步网关实时数据总线计算中心存储中心工作流引擎元数据服务…应用云阿里云服务平台

Conversation