淘 宝数据仓库架构实践.pdfVIP

淘宝数据仓库架构实践 薛奎 2012-04-05 主题 概述 元数据平台架构 存储计算架构 开发管理平台架构 应用开放平台架构 展望 概述 阿里集团未来更像一家数据公司而不是一家电商公司 淘宝数据仓库架构 元数据 子主题  概述  元数据平台架构  元数据在淘宝中的应用 元数据架构 元数据 系统元数据与业务元数 系统元数据 业务元数据 据关系元数据 数据库表元数据 ETL代码元数据 ETL仸务运行过程元数据 数据容量元数据 ETL仸务调度元数据 业务逻辑单元元数据 对数据表，字段引用关 数据表描述 map数,reduce数 记录数 依赖关系 业务主题元数据 系 数据字段描述 代码元素元数据 运行起至时间 占用空间大小 调度周期 语义元数据 优先级 …… 元数据在淘宝中的应用 血缘分析 系统 Reduce自 …… 适应系统 数据波动 调度系统 元数据 监控系统 自助分析 告警系统 提数系统 自动化建 ETL代码 模系统 优化系统 存储计算架构 子主题  存储计算平台选型  传统存储计算平台架构  分布式平台设计理念  淘宝存储计算