数据治理和快速查询平台助力数字化转型.docxVIP

数据治理和快速查询平台助力数字化转型 摘要：数据治理是企业数字化转型的信息基础和数据质量的保障，高质量的数据分析对企业数字化转型具有持续的推动力。数据质量是分析结果真实有效的基础，高质量的数据管理是企业数字化转型的重要组成部分，数据治理是保障高质量数据的重要手段之一，通过对多数据源、多平台的数据进行有效清洗、规范、整合形成符合智能分析的高质量数字资源，通过快速查询分析平台，经过简单的数据配置，快速实现数据的展现和分析。 关键词：数据治理、数据模型、快速查询 一、数据治理的必要性 随着信息化技术的不断提升，企业在发展期间大多建立了多种信息系统，生产经营、人力资源、绩效考核、商务流程、客户管理、费用报销等，由于系统的建立时期、建造厂商和负责部门的区别，数据大多存在以下几个方面的问题： 1．数据更新不及时 数据大多需要人工进行录入系统或excel模板导入到系统中，数据更新的及时性受到了一定程度的限制。 2．数据规范程度低 不同系统中基础数据的数据规范和数据标准不完全相同，在系统间进行数据交互和数据对比时，增加了困难降低了准确度，有时会出现数据无法匹配的情况。 3．数据重复录入 某个系统填报数据信息后，存在不能自动进入相关联的其他应用系统的情况，发生数据重复录入的情况，产生资源浪费。 4．数据汇总效果差 数据的分散性和规范性差导致进行数据汇总的难度加大，数据汇总的准确度进一步降低。 5．数据连续性差 企业业务运营是具有连续性的，由于业务系统独立，造成了数据的独立分散，不能在数据端形成连贯的业务序列，不能全局的贯穿经营的全流程，缺乏整体性和连续性。 6．数据共享不充分 数据分散在不同的应用系统中，各个系统独立分散，数据信息不能充分的共享和使用，数据价值没有得到充分的发挥。 7．数据分析整合程度低 数据的不连续性、准确度低、分散独立、规范不标准导致数据分析无从下手，智能分析没有良好的数据基础，不能真正体现数据的价值。 二、数据治理措施 通过业务数据一站式收集，经过数据源的发现、数据分类、数据标准的制定、数据清洗、数据建模、数据归集等建立质量高、标准统一、协作能力强、安全可靠的数据中心。数据中心具备以下几个方面的功能：数据集成管理、元数据管理、数据标准管理、数据质量管理、业务数据建模、数据服务、智能分析、数据安全和数据生命周期管理。 1．数据集成管理 数据集成管理可实现跨业务系统的数据传输、加载、清洗、转换和整合，支持自定义调度和图形化监控，实现统一调度、统一监控，满足运维可视化需求，提高运维管理工作效率。 可集成多种类型的数据源，包括：关系型数据库，分布式大数据库，文件数据源（Excel、txt、DB）、接口数据源等。 主要功能包括集成管理、任务管理和任务调度。 2．元数据管理 元数据是数据资源的应用字典和操作指南。元数据管理对元数据的采集、存储、维护、更新、安全等进行管理。端到端的自动化采集，一键元数据分析，快速理清数据资源，了解数据来龙去脉，对数据进行影响分析、全链分析、关联度分析，构建数据地图。实现数据分类有序管理，为数据标准建设和数据质量提供基础支撑，为企业级的数据中心建立提供支持。 通过关联度分析、全链分析、影响分析等快速分析上下游数据信息，快速掌握元数据变更造成的影响，了解元数据的来源和加工过程，体现元数据在系统中的依赖程度的高低等。元数据管理可以提高数据洞察力，进而挖掘隐藏在数据资源中的价值。 元数据划分为三类元数据：技术元数据、业务元数据和管理元数据。 技术元数据 描述数据系统中技术领域相关概念、关系和规则的数据，主要包括对数据结构、数据处理方面的特征描述，覆盖数据源接口、数据仓库与数据集市存储、ETL、数据封装和前端展现等全部数据处理环节。 业务元数据 描述数据系统中业务领域相关概念、关系和规则的数据，主要包括业务术语、信息分类、指标定义和业务规则等信息。 管理元数据 描述数据系统中管理领域相关概念、关系和规则的数据，主要包括人员角色、岗位职责和管理流程等信息。 元数据管理主要功能模块包括元数据模型管理、元数据采集管理、元数据维护管理、元数据分析、系统管理等功能。 3．数据标准管理 提供全面规范的数据标准，用于决定和建立单一、准确、权威的信息要求，通过建立数据标准和标准转换规则，将不同标准的“同一”数据转换为统一标准的完全相同的数据，建立数据关联性，实现大数据平台数据的完整性、有效性、一致性、规范性、开放性和共享性管理，并为数据质量检查、数据安全管理提供标准依据。 通过数据标准的建立，能够实现： ?实现数据共享，减少信息冲突； ?规范业务录入，减少数据质量问题； ?规范新系统建设，减少系统间不一致性。 数据标准管理包括：数据标准检索、分组管理、标准集管理、数据标准转换规则、转换日志查询等。 4．数据质量管理 以数据标准为