面向大数据的非结构化数据管理平台关键技术.docxVIP

PAGE 1 PAGE 1 面向大数据的非结构化数据管理平台关键技术  大数据的有效管理是实现大数据处理的前提和基础。非结构化数据是当今大数据的主体。针对非结构化数据管理平台构造中的数据表示、数据操作与数据处理效率等关键问题，提出并论述了四周体数据模型、非结构化数据查询语言(UQL)及数据分布式存储与并行处理架构，并将上述技术在非结构化数据管理系统(AUDR)中进行了应用。  1.引言  　　随着互联网与数字化信息获取技术的快速发展，新的数据源不断涌现，各种应用所产生的数据呈指数级增长。依据互联网数据中心监测，全球数据量大约每两年翻一番，估计到2020年，全球的数据量将达到35ZB，预示着我们已经进入大数据时代。大数据处理可分为三个阶段：数据获取与抽取、数据存储与管理及数据分析与挖掘。其中，数据存储与管理负责把有潜在价值的海量数据进行表示、存储并供应数据关联、检索等操作，为进一步进行数据的深度分析供应必要的支持。同时，人们可以看到，由于微博、社交网等互联网应用以及消遣、媒体、医疗保健的蓬勃发展，使图像、音频、视频、文本等数据大量涌现。据GartnerGroup统计，如今80％的数据为非结构化数据，并且仍保持高速增长态势，非结构化数据已渐渐成为大数据的主体。因此，如何建立有效的非结构化数据管理平台，已成为大数据处理相关研究中的一个核心问题。