数据治理建设方案.pdf

数据治理建设方案 导读：随着大数据时代的来临以及信息技术的发展，人们 产生的数据量正在以指数级的速度在增长，并且数据正以 多元结构（结构化与非结构化）趋势发展，如此海量的、 多元结构的数据就要求利用有效的方法来管理。数据是一 个企业或政府部门的核心资产，数据治理是将一个企业或 政府部门的数据作为战略资产来管理，需要建立一套从数 据采集到处理应用的管理机制，以提高数据质量，实现广 泛的数据共享，最终实现数据价值最大化。 数据治理建设方案 本文主要内容： •数据治理的建设背景 •数据治理的建设目标 •数据治理的建设思路 •总结与展望 什么是数据治理？按国际数据管理协会（ DAMA ）的定义， 数据治理是对数据资产的管理行使权力和控制的活动集合 （规划、监控和执行），数据治理职能指导其他数据管理职 能如何执行。 数据治理是将数据转化为智慧，挖掘出价值，最终服务于人 的重要途径。依托政务云平台，从原始数据中提炼出有用、 有价值的资产信息，通过深度整合形成多维多层的知识图 谱，将数据高度聚合，深度关联。通过 AI 人工智能，将数据 深度研判分析预测，从数据的可知、可用到数据的可测，形 成智慧大脑。为各级政府 AI大数据应用奠定坚实的基础。 一、数据治理的建设背景 1.1数据治理的现状 (1）回顾政务的信息化建设发展历程，可以发现“烟囱化”现象 严重，建设系统多，数据分散，共享困难。 (2）各单位机构自建系统没有统一数据标准，数据质量参差不 齐 (3）数据不可知：用户不知道有哪些数据，也不知道这些数据 和业务的关系是什么，虽然意识到了大数据的重要性，但不 知道平台中有没有能解决自己所面临业务问题的关键数据， 该到哪里寻找这些数据。 数据不可控：指用户不知道汇聚了哪些数据、处理了哪些数 据、服务提供了哪些数据。 数据不可取：用户即使知道自己业务所需要的是哪些数据， 也不能便捷自助地拿到数据。 (4）用户拥有着海量数据，但数据知识之间的关联还比较弱， 没有把数据和知识体系关联起来，使得难以做到数据与知识 之间的快速转换，不能对数据进行自主的的探索和挖掘，数 据的深层价值难以体现，没有形成知识图谱。 1.2数据治理势在必行 要解决这些问题，数据治理势在必行。 数据治理不单是一个方法、也不是一个功能、也不是一个工 具，而是一整套体系。 数据治理核心领域功能不再是人工处理，而是全流程平台 化，比如数据服务、数据质量、模型、数据标准；同时配套 相应的组织架构、人员方案，通过考核机制、管控办法等制 度章程予以约束和协调各部门在数据治理中的角色和要求； 除了平台工具、保障措施之外，还必须有实施流程和技术的 支撑，比如政务云的资源设施及各单位数据接入流程等。 所以数据治理是平台工具、方法论和保障机制的有机体，不 可分割。整个体系的重点、难点在于数据服务、数据模型和 数据标准化实施。 二、数据治理的建设目标 基于数据治理体系，可以提炼为六大建设目标： (1）数据接入标准化：通过制定接口规范，数据治理接入支持 多源头采集、多种形态的数形式，同时数据对账清晰明了， 对账不仅是源头有多少、进了多少做一个对比，另外一个层 面是应该进多少，而进了多少的对比，通过设置预警阈值， 对源头的数据监控，及时发现源头采集问题。 (2）数据处理自动化：通过自动化对标、自动化作业等产品、 工具，以机器算法代替人力劳动，大大提高生产力。 (3）数据监控智能化：整个数据治理体系监控点很多，通过定 义多种接口规范，实现运维监控的统一管理，短信、邮箱等 多种提醒方式，及时发现并解决问题。 (4）数据组织知识化：通过分析各部门共享数据集，提炼权威 数据，形成主数据模型。通过人、车、地址等主题域建模， 掌握各主题的内在关系，深度整合，形成以实体为单位的复 杂的关系网络，就是知识图谱。 (5）数据运行可视化：Etl 工具、服务总线产品与数据治理平 台有机结合，将数据治理实施流程各环节通过平台去实现， 由平台驱动各产品协作完成整个数据治理过程。 (6）数据应用自助化：依托服务总线，建设统一的服务平台， 服务大厅，通过服务权限和数据权限控制，用户可自助申 请、自助使用、自助评价反馈。 三、数据治理的建设思路 3.1形成数据治理体系 大数据中心的建设需要通过数据治理体系来实施，主要包括 五大部分