大数据管理简介 .pdfVIP

1引言

大数据时代的到来意味着新技术、新系统和新产品的出现．如何客观地比较和评价不

同系统之间的优劣自然成为一个热门研究课题，这种情形与三十多年前数据库系统蓬勃

发展时期甚为相似．众所周知，在数据库系统取得辉煌成就的发展道路上，基准评测研

究一直扮演着重要角色，极大推进了数据库技术和系统的长足发展．数据管理系统评测基

准是指一套可用于评测、比较不同数据库系统性能的规范，以客观、全面反映具有类似功

能的数据库系统之间的性能差距，从而推动技术进步、引导行业健康发展．数据管理系

统评测基准与应用息息相关：应用发展产生新的数据管理需求，继而引发数据管理技术革

新，再催生多个数据管理系统／平台，进而产生新的数据管理系统评测基准．数据管理

系统评测基准种类多样，不仅包括面向关系型数据的基准评测，还包括面向半结构化数

据、对象数据、流数据、空间数据等非关系型数据的评测基准．在当今新的数据系统发展

中，面向大数据管理系统的评测基准的研究热潮也如期而至．大数据评测基准研究与应

用密切相关．总体而言，尽管已有的数据管理系统评测基准未能充分体现大数据的特征，

但是从方法学层面而言，三十多年来数据管理系统评测基准的发展经验是开展大数据系

统研发最值得借鉴和参考的，这也是该文的主要动机．该文系统地回顾了数据管理系统评

测基准的发展历程，分析了取得的成就，并展望了未来的发展方向．

2大数据管理简介及主要内容

2.1大数据管理简介

数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的

过程。其目的在于充分有效地发挥数据的作用。实现数据有效管理的关键是数据组织。

随着计算机技术的发展，数据管理经历了人工管理、文件系统、数据库系统三个发展

阶段。在数据库系统中所建立的数据结构，更充分地描述了数据间的内在联系，便于数据

修改、更新与扩充，同时保证了数据的独立性、可靠、安全性与完整性，减少了数据冗余，

故提高了数据共享程度及数据管理效率。

2.2面向数据应用

前面讲到数据管理经历了人工管理、文件管理、数据库管理等三个阶段，主要是利用

计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程。随着信息技术

的进步，管理信息系统将面向大规模的组织提供业务支持，不仅要覆盖整个组织的各类业

务，而且要覆盖整个组织（全球或者全国）。为此，作为管理信息系统的核心功能，数据

管理将要进入一个新的阶段，即面向数据应用的数据管理。

2.2.1面向数据应用的数据管理概念

数据管理，即对数据资源的管理。按照en:DAMA的定义：“数据资源管理，致力于发

2

展处理企业数据生命周期的适当的建构、策略、实践和程序”。这是一个高层而包含广泛

的定义，而并不一定直接涉及数据管理的具体操作（摘自维基百科）。与百度百科的定义

比较，百度百科的定义针对的是数据应用过程中数据的管理，即传统的数据管理，而维基

百科的定义更高一层，针对的是企业数据全生命周期所涉及应用过程数据的管理，即对数

据变化的管理，或者说是针对描述数据的数据（元数据）的管理，在此我们称之为面向应

用的数据管理。

根据管理学理论，几个人的团队可以靠自觉、自律，几十个人就要有人管理，几百个

人就要有一个团队管理，几千或几万人就必须要依靠计算机辅助团队管理。通常覆盖全国

的企业和机构，其整个组织的管理分为总部机构、省级机构、市级机构、以及基层机构等

等各层级机构；在每个层级机构中还设置了直接从事相应业务的管理和职能部门和非直

接从事业务的管理和职能部门（如人事、办公、后勤、审计等）；每个部门又是由若干员

工为管理对象构成的。同时，还制定了一系列的制度去规范和约束机构、部门、人员等管

理对象的活动、行为等。

同样，数据管理随着管理对象——数据的增加，管理的方式（阶段）也会随之提升。

通常的大型管理信息系统，其整个项目分为总集成、分项目、子项目、每个子项目又有若

干内部项目组等等管理层级；在每个管理层级中都涉及直接服务于业务的业务功能（如业

务交易、账务处理、行政管理、结果展现等等）和非直接服务于业务的非业务功能（如定

义、配置、监控、分析、记录、调度等等）；每个业务和非业务性质的功能又分别由若干

数据集合为对象（如流程、表单、数据项、算法、元数据、日志等等）所构成的。同时，

也需要制定一系列制度、规则和标准去约束项目、功能、数据等管理对象的活动和变化。