数据资产应用与管理指南.docx

数据资产应用与管理指南

1.数据资产管理概述

随着大数据时代的到来,海量数据不断汇聚,成为现代组织最为宝贵的战略资源之一。2015年,《经济学人》杂志发表题为《数据,数据无处不在》的封面文章,引发了学界和业界对于数据价值的深度思考和讨论。数据,从一种低效冗余的存储对象,逐渐演变为稀缺的、可再生的、可增值的资产形态,其内在价值取决于组织利用数据的能力。

数据资产管理是一项复杂的系统工程,涉及战略、业务、数据、技术、组织五个维度。从纵向生命周期视角审视,数据资产管理需统筹规划数据资产的采集、加工、存储、共享、使用、归档等各个环节;从横向能力视角考量,又需具备数据架构、数据标准、数据质量、数据安全、元数据等多方面的治理能力。可以说,数据资产管理无所不包,贯穿数据资产的采、存、管、用、析全过程。

2.数据资产的组织与检索

随着数据规模的急剧膨胀,对复杂多源异构数据的高效组织和检索成为数据资产管理的基础性工作。传统的面向IT的数据组织方式已难以应对新形势,亟需创新转型。智能时代的数据资产组织,要立足业务语义,兼顾IT架构实现,以数据标准为纽带,以数据目录为抓手,构建一套可持续演进的、全域一体化的语义数据组织体系。同时,要立足数据开发利用需求,面向数据消费者,提供灵活、智能、个性化的多维数据检索服务,让数据真正用起来、活起来。

2.1数据资产分类与编目

科学的分类编目是海量异构数据有序管理的前提。从本质上说,数据资产分类就是用树型结构刻画数据集合的层次化组织形式。一套科学、规范、语义化的分类体系,能从数据的繁杂表象中提炼出数据的主题属性和内在联系,揭示业务概念模型和数据资产的全景图。分类设计要充分考虑业务领域、数据性质、管理流程等多重因素,才能做到覆盖全面、结构清晰、边界明确。要坚持面向主题、面向业务、面向应用的原则,兼顾数据资产的静态属性与动态行为,并设计配套的分类流程和更新机制,使分类体系在动态演进中不断自我优化,以适应数据资产管理需求的持续变化。

分类的基础上,数据编目则是精细化、结构化地描述和标引数据资产。通过定义统一的数据资产元数据标准,从资产的物理属性、业务属性、管理属性等多维度形成数据资产的ID证,用于唯一性标识和管理数据资产。编目过程中,既要充分吸收主流元数据标准,如DCMI、DCAT等,保持一定通用性;也要结合本组织的业务特点,个性化定制实用的元数据属性集。编目信息的标准化采集与自动化提取,将大大提升数据标引的效率和质量,助力后续的数据检索和共享利用。

2.2元数据标准化与语义映射

元数据的标准化和语义化,是数据资产组织的纲领性工作。目前我国尚缺乏统一权威的元数据标准体系,各行业、部门间存在大量自定义、碎片化的元数据形式,亟需在国家层面统筹规划、制定数据元、代码集、分类目录等重点领域的元数据标准,夯实数据有序流通的基础。

在此基础上,组织内部的元数据标准化要在两条主线同步推进:横向做到公共属性、代码集、值域等标准统一,纵向做到概念、逻辑、物理各层次的语义一致。对于历史存量数据的描述性元数据,要通过数据血缘分析等手段,系统梳理数据溯源关系,开展元数据自动抽取与结构化,消除元数据诸侯割据状况。针对增量数据,则要从源头规范元数据定义、元数据采集流程,提升元数据标准的执行力。

完备的元数据只是数据组织的基石,更需要在元数据基础上构建覆盖全域的语义数据模型。通过本体映射、知识融合等技术手段将技术视角的元数据映射到业务概念,建立统一的语义数据字典,用通俗易懂的业务术语描述底层数据资产,并揭示数据资产间的关联关系网络。建立元数据与主数据的联动更新机制,将业务主数据作为统一语义标准,实现数据资产的业务归一化管理,从而最大程度降低数据使用门槛,便于非技术业务人员理解和应用数据资产。

2.3多维度数据资产目录构建

高质量的数据资产目录是数据管理的核心工具和重要抓手。它犹如一部数据资产的百科全书,系统记录了数据资产的方方面面,为用户检索查询、管理监控提供统一入口。传统的数据字典、数据目录大多面向IT设计,缺乏全局视角和业务属性,检索途径单一,使用体验不佳。智能时代的数据资产目录,应从业务主题、数据域、应用场景等用户最关心的多个维度组织呈现,并实现个性化、语义化、可视化的交互浏览。

多维度目录构建的核心是数据地图设计。一方面,要从业务视角出发,围绕组织的核心业务领域,抽象出标准化的业务概念模型和主题域模型,刻画业务实体及其内在联系;另一方面,要立足实际数据资产分布,设计同构或异构的数据域,建立数据资产的全域视图,并通过虚实映射、图谱关联等技术手段,打通概念模型到物理模型的映射转换,最终形成一张覆盖概念层、逻辑层、物理层三个层次的语义数据地图。在此基础上,可针对典型数据消费场景,设计个性化的专题数据视图,内嵌数据分析、数据预览、数据订阅