年数据库技术大会_万振龙：数据治理跟大数据平台设计40.ppt

数据治理 大数据平台设计 万振龙 议程 • • • • • • 数据治理的背景和现状 数据治理策略 元数据管理 主数据管理 数据质量管理 大数据平台设计 数据治理背景 1 大数据时代凸现数据重要性 数据治理是大数据的基础 2 3 4 5 信息孤岛现象严重 数据质量问题严重 数据应用未得到有效管理 6 数据安全问题日益严峻 数据 治理 意识到了问题的严重 1 数据 治理 现状 2 “维持”代替“管理” 3 历史“包袱”沉重 4 相关方利益交织，协调困难 5 方案规划容易，落地困难 6 过度依赖技术工具 7 对于数据没有明确区分 议程 • • • • • • 数据治理的背景和现状 数据治理策略 元数据管理 主数据管理 数据质量管理 大数据平台设计 组织 Organization 流程、活动与机制 ProcessActivitiesMechanism 计划、制度 与标准规范 PlanRuleStandards 技术平台与工具 PlatformTools 数据治理要素 数据治理策略 获得支持 引入外援 找到“痛点” 确定“起点” 责任到人 持之以恒 绩效评估 经验总结 实事求是 确定方法 做好绩效 标准先行 使用工具 奖惩机制 数据 治理 实施建议 *数据质量提升是目标 *主数据管理是关键 *元数据管理是基础 议程 • • • • • • 数据治理的背景和现状 数据治理策略 元数据管理 主数据管理 数据质量管理 大数据平台设计 什么是元数据 • 元数据的定义 – 技术元数据 – 业务元数据 – 操作元数据 为什么要进行元数据管理 Why? 1 2 3 4 5 6 数据的参考框架 解决数据模糊性 可视化数据流动 影响和血缘分析 推进标准化建设 规范化数据审计 经验分享 1. 2. 3. 4. 5. 6. 标准先行 全局治理 尽快见效 高层支持 业务参与 奖惩机制 数据定义标准化 数量 月销售量 月 销售 量 ＋ ＋ 标准单词对象 词素 词素 词素 词素分析 原属性名(标准化对象) 标准域 数量 类型： 数字型 长度： 19，0 分类词 月度 销售 数量 ＋ 标准用语 月度销售数量 类型： 数字型 长度： 19，0 修饰词 标准单词 标准单词 标准单词 标准单词 月度 销售 数量 分类词(域) 标准 体系 数据定义标准体系 标准单词 标准域 标准用语 数据模型标准化 结构 管理 实体、属性、关系、主键，范式化等 命名规则、用语词典、标准域等 数据管理政策、方针等 配置管理、版本管理等 质量 准确性 、完整性、实时性、一致性 应用 查询结果的准确性、使用便利性、查询结果的迅速性 模型设计 标准 模型优化 实施路线 模型诊断 设计规范 设计指南 按照模型设计规范和指南统一设计企业内部数据模型 可使用 可管理 可控制 模型 要素 关系 定义 规则 应用系统 注 册 元 数 据 库 脚 本 同 步 指 导 数 据 库 设 计 审核、评估、发布 元数据管理系统 提交 反馈 标准化体系（数据定义模型设计） 元 数 据 服 务 标准 规范 制定 完善 引用 元数据管理工具的选择 • • • • • • • 元模型易于扩展 界面友好 安全和系统管理 配置管理 发布、查询、报表功能 平台开放 提前试用 议程 • • • • • • 数据治理的背景和现状 数据治理策略 元数据管理 主数据管理 数据质量管理 大数据平台设计 什么是主数据 • 企业主数据分散存储在企业各系统内，对 企业至关重要的核心业务实体的数据，比 如客户、合作伙伴、员工等 – 关键 – 分散 – 缓慢 – 共享 主数据类型 当事人 事物 地域 财务和组织 主数据与参考数据 • 参考数据可以是主数据，但不一定是主数 据 为什么要作主数据管理 数据冗余 难亍应变 数据冲突 阻碍业务 Why? 如何做好主数据管理 经常遇到的问题 如何做好主数据管理 识别并管理主数据相关方 整理并分析主数据的生命周期 识别主数据含义、上下文、类型 主数据实施流程 运行 维护 项目 实施 主数据 识别 数据 梳理 项目实施要点 •选择工具 •定制开发 •制定标准规范 •确定组织架构 申请 维护 主数据管理系统 注册 准入 审批 访 问 服 务 查 询 安 全 管 理 匹配查重 CRM 数据校验 人事 管 理 流 程 组 织 机 构 统一数据共享 标准规范 强化决策支持 提升数据质量 主数据 管理体系 数 据 导 入 ERP 数 据 分 发 …… 版本管理 财务 通知 废弃 议程 • • • • • • 数据治理的背景和现状 数据治理策略 元