基础数据建设实践概要.pptx

基础数据建设实践 互联网+ 大数据 基础数据建设演进 原始社会 数据需求方 产品研发工程师 提出需求 产品需求* 日志打印 数据需求 奴隶社会 数据需求方 提出需求 产品研发工程师 产品需求* 日志打印 数据工程师 数据需求 封建社会 数据需求方 数据工程师 产品研发工程师 提出需求 日志规范 数据需求 产品需求* 日志打印 资本主义社会 数据需求方 数据工程师 产品研发工程师 提出需求 日志规范 数据需求 产品需求* 日志打印 主题建设 数据仓库 工程师 共产主义社会 数据仓库+ 数据仓库建设 日志数据 数据库数据 文档数据 … 业务范围 日志管理 业务划分 … 基础层 结构化 扩展规范 数据标注 … 中间层 数据仓库 建模 主题划分 一致性 粒度VS灵活 维度模型 主题划分 高度汇总 指标唯一 数据一致 数据分析平台 需求驱动 线上服务 数据挖掘 … 报表层 数据质量建设 元数据 报表 位置 层级 指标 数据仓库 表结构 属性信息 依赖关系 前端展现 任务 层级 依赖 任务执行情况 元数据管理 日志/业务库元数据 日志模块 日志传输、参数结构 业务库表结构 表、属性状态 ETL 元数据管理 日志扫描 类型 离线日志扫描 技术 实时计算 实时日志扫描 规则引擎 分析内容 日志错、漏、重复、异常等 日志使用情况 日志冗余 日志扫描 （基础日志） （基础日志） 统 数据分析师 数 1、日志规则制定和录入 4.2、获取日志 日志规范流程 5.2、报警 查询日志规则及解释 QA 2.2、获取需要埋点的日志规则 2.1、获取需要埋点的日志规则 0、提出业务需求 5.1、报警 3、测试 产品品线 发工程师 研 工 数据需求方 数据工程师 4.1、获取日志规则 元数据系统 （基础日志） 监控系统 统 （基础日志） 上游业务库 报警并需要数据工程师审核/完善变更 查询数据更新时间 获取元数据 业务库规范流程 数据需析师 方 查询数据库表结构及释义 元数据系统 （上游业务库） 添加/维护元数据信息 （上游业务库数据库及表结构） 据分求 数据工程师 （线上 （线上 线上业务库 数据库最新变更信息 数据加载进展 监控系统 （上游业务库） 血统分析 拓扑图分析 了解单点对于上下游甚至全局的影响 依赖分析 任务调度/运行异常、依赖异常、重写异常 产出分析 数据产出时间预估等 异常分析 合理性分析 … 血统分析