块数据理论的探索与创新.docx

??

?

??

块数据理论的探索与创新

?

??

?

?

?

?

?

?

?

???

?

?

?

?

?

一块数据是大数据时代的解决方案

（一）大数据的问题与困扰

在大数据时代，大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。[1]《促进大数据发展行动纲要》给出的这一定义表明，大数据不仅是一种海量的数据状态，还是一种复杂的数据处理技术，更是一种思维方式、一场由技术变革推动的社会变革。大数据给人类带来了新的发展机遇，更提出了新挑战。

在数据“匮乏”的时代，数据的采集、搜索等技术手段的落后，导致人类可获得的数据很有限，人们难以对事物做出准确的判断和预测，如同处在黑暗中，辨不清方向。[2]进入大数据时代，数据短缺转变为数据过剩。信息爆炸和数据爆炸带来了海量信息和垃圾数据泛滥的困境。在数据短缺的时代，人们希望有充足的数据，但在信息爆炸和数据爆炸的时代，人们则是希望数据越精准越好、越有序越好。人们获得精准、有序的数据的难度较以往不是降低而是提高了。与数据本身的复杂性相比，多源异构、多空间和多实体之间的交互动态性使大数据的复杂性更为突出，以至于我们很难用传统的方法去描述和度量这些数据。数据分析者、研究者与决策者再一次陷入结构性短缺、集团化占有、分散化使用和有限性分享等新的数据困惑之中，[3]这直接影响了大数据预测和研判的精准性和客观性。

（二）块数据出现的必然性

1.点数据：离散系统的孤立数据

互联网和移动通信技术的高速发展，引发数据以爆炸式的速度增长，但其中有较大规模的数据是独立存在的，这些数据没有同其他数据建立连接，形成了一个个分散的点数据。点数据源于个人、企业及政府的离散系统，涉及人们生产生活的各个领域、各个方面、各个层次和各个环节，这类数据已经被电子系统识别并存储在各种相应的系统中。点数据是大数据的重要来源，与生产生活息息相关，具有体量大、分散化和独立化等特点。

人们对于大数据的关注，往往过分集中于大数据“大”的特点，却忽略了分散在大数据间的点数据。没有与其他数据发生价值关联，或者价值关联没有被呈现，造成点数据未被使用、分析甚至访问。这也是大数据价值密度低的主要原因。

2.条数据：单维度下的数据集合

无论是传统行业所汇聚的企业内部数据，还是各级政府实施信息化工程所掌握的卫生、教育、交通、财政、安全等部门数据，再或者是互联网企业存储的电子商务、互联网金融等新型行业数据，都可以被定义为“条数据”，即在某个行业和领域呈链条状串起来的数据。[4]政府数据因部门利益割据形成“信息孤岛”和“数据烟囱”；企业数据更是以条数据形式分散在企业内部。

目前，大数据的应用大多是以条数据呈现。在大数据时代，条数据在一定程度上实现了数据的指向性聚集，使人们能够清晰地掌握某个领域的最新动态和整体状况，从而提高预测的精准性，降低生产成本，使数据的使用上升到一个新的层次。但是，数据被这种指向性聚集困在一个个孤立的链条上，相互之间不能连接起来。在思维模式上，条数据是传统人类研究范式的数据化体现，是对单独领域的深化，不同领域间彼此割裂、互不融通。

3.块数据：特定平台上的关联聚合

块数据打破了点数据、条数据存在的数据分散、“数据孤岛”和数据垄断的限制，为大数据发展找到了新的突破口。与条数据的指向性聚集不同，块数据的关联性集聚，打破了传统的信息不对称和物理区域、行业领域对信息流动的限制，对不同来源、不同类型信息的集成、挖掘、清洗，在很大程度上改变了信息的生产、传输、处理和组织方式，进而给各个行业的创新发展带来新的驱动力，推动各类产业彻底变革和再造。[5]

数据的关联度越高，数据的价值也就越大。人与人、人与组织、人与物、人与空间的关联融合，将形成更加复杂、更加庞大的块数据。城市中的人、商业、交通、运输、供水、能源等核心系统都会被相互连接在一起，市民的生活将变得更加智能，人类对世界的认知水平和洞察力将大幅提升，世界将变得更加透明。与此同时，人类认识世界和改造世界的能力将上升到一个新的层次。基于此，打破“条”的限制，让大数据实现在“块”上的“条”融合，是未来大数据发展的必然趋势。

（三）块数据的概念与基本属性

1.块数据的概念

人类对块数据的认识和理解，是随着对数据的探索和对大数据价值的发现而不断深入的。块数据是高度关联的各类数据在特定平台上的持续聚合。[6]也就是说，块数据是把各种分散的（点数据）和分割的（条数据）大数据汇聚在一个特定平台上并使之发生持续的聚合效应。其中，各类数据是指不局限于物理空间或行政区域的涉及人、事、物等各类数据的总和；“特定平台”既包括特定的物理空间，也包括虚拟空间；持续聚合的