大数据新概念与大数据理论前沿.docx

??

?

??

大数据新概念与大数据理论前沿

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

一大数据理论研究进程

数据库出现后，人类采集、存储数据的能力迅猛提高，数据总量不断增加，而且增加的速度不断加快，海量数据源源不断地被产生出来。海量数据的出现，使传统的计算科学范式逐渐被抛弃，信息技术的发展研究重点逐步从计算能效延伸至数据存储和挖掘，摩尔定律成为数据处理的重要依据，大数据相关的基础理论研究成为学术界和科技界的研究热点。科学家通过对数据的观察、整合和处理，从海量数据中挖掘价值，推动科学技术的进步和社会的发展。

（一）大数据研究的兴起

早在1966年，彼得·诺尔（PeterNaur）就提出用datalogy（数据分析论）来代替计算机科学。20世纪70年代，数据科学开始兴起，彼得·诺尔将数据科学定义为：“处理数据的科学，一旦数据与其代表事物的关系被建立起来，那么将为其他领域与科学提供借鉴”。21世纪初，数据科学以势不可挡的力量席卷而来，数据科学利用计算机的数据处理能力挖掘数据世界中的规律，形成知识体系，为科学界、政府和社会公众进一步认识大数据奠定了理论基础。

2008年，《自然》杂志出版专刊“大数据”，专门探讨海量数据带来的挑战。随后，其他顶级学术刊物纷纷推出大数据专刊，研究讨论大数据领域的相关问题。2012年5月，香山科学会议第424次学术讨论会围绕“网络数据科学与工程”等相关问题进行了深入探讨。2013年5月，以“数据科学与大数据的科学原理及发展前景”为主题的香山科学会议第462次学术讨论会召开，探讨了数据科学发展中的基本问题、大数据科学原理等问题。2014年，第507次香山科学会议以“科学大数据的前沿问题”为主题，探讨了大数据研究的基础设施、科学数据共享新机制，科学大数据学科发展与人才培养。

（二）大数据理论研究的特点

与大数据相关的学科领域包括统计学、机器学习、数据可视化、信息科学、数据工程、信息工程以及知识工程等。大数据是科学还是工程，要看具体的应用。

1.交叉融合

大数据是一门以数据为中心，建立在数学、信息论和计算机应用技术基础上的交叉性学科。同时，大数据科学又涉及信息科学与社会科学的交叉研究领域。不同学科领域的研究范围与重点虽各不相同，但大数据通过数据的可通约性打破了各学科之间的“条块分割”，突破了传统科学的学科边界和壁垒。整个数据生产流通链涉及多个学科的渗透与融合，比如，数据存储主要涉及计算机、信息科学的问题；而数据处理涉及数学、统计学等学科。周傲英教授等对数据涉及的领域进行分析后认为，基础设施层对应计算机相关技术的研究，方法层对应数据处理相关的研究，而大数据应用层次中每一类应用有各自对应的学科。所有层级学科交叉融合，共同构成了大数据研究的全景图（见图1）。[1]

图1大数据研究全景

2.工程优先

大数据广泛且强烈的应用需求驱动着大数据工程技术的创新和大数据的理论创新，大数据科学研究发展呈现出应用驱动、问题导向的态势。其中，大数据理论科学侧重于研究数据世界中新的规律和知识，而大数据工程致力于利用这些数据规律和知识来构建新的事物，创造新价值。当前，大数据工程技术的相关研究已走在大数据理论研究的前面，成为推动大数据科学发展的关键要素，工程技术上的难题成为数据科学的重要研究内容。

3.逐步完善

任何理论学科的完善都经历了不断演化的过程，只有人们的认识能力达到一定水平后，才能形成相应的理论模式、结构和方法，学科建设才能进入相应的发展阶段，其发展呈现一定的阶段性特点，大数据亦如此。虽然自大数据提出以来，大数据研究得到了科学界的认可及参与，吉姆格雷（JimGray）将大数据提升至科学研究范式高度，提出数据密集型科研“第四范式”。[2]然而关于大数据的基本概念并没有形成统一系统化的描述，大数据学科基础问题还处在理论探索和完善的阶段，大数据作为一门具有独立完整的理论体系的学科，其构建还需要不断研究、分层，使其共性问题进一步清晰明朗。

二当前大数据理论研究的前沿问题

海量数据的复杂性不仅体现在数据的体量上，更体现在多源异构、多实体和多空间之间的交互动态性上，这些数据彼此关联、叠加交错、相互融合，对大数据理论研究和科研应用提出了全新挑战。从关键技术上看，大数据多源异构和动态性等特点，对数据的获取、存储和处理等提出更高的技术要求；从基础理论上看，大数据基础理论研究的突破与其相关新兴理论的研究进展紧密相关，离不开对其知识与研究方法的借鉴；从应用上看，大数据研究不仅研究数据本身的内在机制，还要深度研究挖掘数据背后的社会学、经济学的机理，实现大数据的最终价值体现（见表1）。

表1大数据理论研究的前沿问题

表1大数据理论研究的前沿问题-续表

三大数据十大新名词

在大数据理论研究发展的历程中，新的概