数据治理与大数据平台设计.pptx

数据治理大数据平台设计 议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计?????? 数据治理背景大数据时代凸现数据重要性1数据治理是大数据的基础2信息孤岛现象严重数据质量问题严重 34数据治理数据应用未得到有效管理5数据安全问题日益严峻6 意识到了问题的严重12 “维持”代替“管理”3 历史“包袱”沉重4 相关方利益交织，协调困难5 方案规划容易，落地困难6 过度依赖技术工具7 对于数据没有明确区分数据治理现状 议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计??????数据治理要素组织Organization流程、活动与机制ProcessActivitiesMechanism计划、制度与标准规范PlanRuleStandards技术平台与工具PlatformTools数据治理策略获得支持引入外援找到“痛点”确定“起点”责任到人绩效评估持之以恒经验总结 数据 治理标准先行使用工具奖惩机制实事求是确定方法做好绩效实施建议 *数据质量提升是目标*主数据管理是关键*元数据管理是基础 议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计??????什么是元数据? 元数据的定义– 技术元数据– 业务元数据– 操作元数据为什么要进行元数据管理数据的参考框架解决数据模糊性可视化数据流动影响和血缘分析推进标准化建设规范化数据审计123456Why?经验分享 标准先行 全局治理 尽快见效 高层支持 业务参与 奖惩机制 1.2.3.4.5.6.数据定义标准化标准单词对象原属性名(标准化对象)词素词素词素＋＋月销售量词素分析月销售量 标准域数量类型： 数字型长度： 19，0 分类词 标准用语月度销售数量类型： 数字型长度： 19，0 修饰词标准单词 月度 销售 数量 分类词(域)标准单词 月度标准单词 销售标准单词 数量＋数量数据定义标准体系 标准单词标准体系标准用语标准域数据模型标准化结构?实体、属性、关系、主键，范式化等?命名规则、用语词典、标准域等管理?数据管理政策、方针等?配置管理、版本管理等模型设计 标准质量?准确性 、完整性、实时性、一致性应用?查询结果的准确性、使用便利性、查询结果的迅速性实施路线模型诊断模型优化设计指南设计规范按照模型设计规范和指南统一设计企业内部数据模型标准化体系（数据定义模型设计） 制定 完善标准规范审核、评估、发布模型可使用引用提交要素元数据管理系统可管理关系反馈定义规则可控制指导数据库设计库脚本同步元数据服务注册元数据应用系统 元数据管理工具的选择元模型易于扩展界面友好安全和系统管理配置管理发布、查询、报表功能平台开放提前试用??????? 议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计??????什么是主数据? 企业主数据分散存储在企业各系统内，对企业至关重要的核心业务实体的数据，比如客户、合作伙伴、员工等– 关键– 分散– 缓慢– 共享主数据类型 当事人事物地域财务和组织主数据与参考数据? 参考数据可以是主数据，但不一定是主数据为什么要作主数据管理数据冲突数据冗余Why?阻碍业务难亍应变如何做好主数据管理经常遇到的问题如何做好主数据管理识别并管理主数据相关方整理并分析主数据的生命周期识别主数据含义、上下文、类型主数据实施流程运行维护项目实施数据梳理 项目实施要点?选择工具?定制开发?制定标准规范主数据 识别?确定组织架构主数据 管理体系 提升数据质量强化决策支持统一数据共享 标准规范 主数据管理系统注册 准入 审批组织机构管理流程访问服务安全管理 申请维护通知 废弃 数 据 分 发……数据导入 ERP查询匹配查重 CRM 版本管理财务 数据校验人事 议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计??????数据质量问题 数据质量1、数据的值域 3、数据的完整性 5、业务规则 7、数据转换 2、数据的定义 4、数据的有效性6、结构完整性8、数据流 组织架构设计● 业务与技术部门各司其职，共同做好数据质量管理工作 评审委员会技术部门设置评审委员会，对数据方面的变更进行管控，具备技术方案否决权。 业务部门统计部门（业务部门）负责业务规则的制定，在业务层面统管数据质量和安全。 技术主管部门技术部门负责数据集成、使用等过程中的数据质量，并对数据质量报告进行定期发布。数据质量治理流程复制ETL录入修改生产库 后台库应用服务数据仓库数据录入/质量检查《数据质量管理规范 二级检控》一级检控短信通知短信通知确认技术主管部门业务部门管理员策略和方法 反面影响和 正面的效果 征得了领导 层关注应用系统需求和架构经过严 格评审系统的数据结构变更需要进行严格