探索阿里数据藏宝图数据地图管理实践.pdf

探索阿里数据藏宝图——数据地图 阿外(刘应耀） 引子 大数据该关注什么？ 阿里有多少数据？如何存储的？ 数据与数据间什么关系？ 如何找？如何用？ 数据的未来？ 数据管理模块结构 数据 基础 总线 数据 数据市场 服务 市场 IDE DataX 元数据 数据地图 数据质量 生命周期 主数据 应用 调度 DT 元数据服务 安全 元数据 TT 中心 数据字典 血缘关系 数据特征 计量 DBSyn 日志 c 数据 系统 ODPS 云梯1 OTS Garuda myfox 元数据模块结构 元数据中心 字段 数据源 应用 数据表 分区 odps1 taobao hive1 etao hive2 tmall 业 类目 血缘关系 敏感授权 myfox1 b2b 务 属 性 标签/收藏 订阅 用户行为 数据源：数据系统集群实例命名，系统种类包括iDB/ODPS/OTS/hive/hBase/myfox/garuda/galaxy/itier； 应用：数据源物理上的统一命名空间，如oracle 的schema、odps 的project、mysql的database等; 数据表: 统一的GUID命名规范, datasource1.app1.table1，直观易用，简化API接口； 血缘关系：数据流向（表表，字段字段），数据关联（外键）； 敏感授权：应用或表的owner可对全表或字段进行敏感级别设置； 元数据中心 业务线（商业智能、小微金融等） 开放API 事件订阅/通知 元数据中心 图搜索 元数据服务 事件中心 元数据驱动 元数据