2025年大数据相关技术发展趋势 .pdfVIP

去留无意，闲看庭前花开花落；宠辱不惊，漫随天外云卷云舒。——《幽窗小记》

大数据相关技术发展趋势

大数据相关技术的发展趋势

“大数据”意味着大量的非结构化和半结构化数据，它具

有三个公认的特征———体量（Volume）、多样性

（Variety）和速度（Velocity），即3V特征（如图1所

示）。对大数据的处理需要采用并行分布式架构和人工智能算

法等新的技术，并以新的理念应用于辅助决策、优化流程和发

现新的知识。

无论是大数据还是小数据，都是由数据采集、数据处理、

计算处理、数据分析和数据展现等五个层次组成的。大数据的

3V特征对于数据展现或者数据采集都会产生一些间接的影

响，但对中间三个层次的技术提出了非常大的挑战，也促使这

三个层次出现更大的变化。

海量存储管理技术

数据的存储分为两个层次，第一层是文件系统，第二层是

数据库。文件系统把数据以非常便宜的方式放在物理机器中管

理起来，它解决的是性能价格比问题。数据库是专门用于存、

管理数据的一种特定程序，解决的是灵活性的问题，也就是如

何把存储进来的数据以很高效的形式找出来。

第1页共10页

士不可以不弘毅，任重而道远。仁以为己任，不亦重乎?死而后已，不亦远乎?——《论语》

在数据存储架构中，以前的数据存储与计算是分离的，比

如，用IBM、EMC等的NAS、SAN系统存储到网络里。另外一

些服务器是进行计算的，处理数据的时候，要把数据从存储网

络里调到计算节点上。由于文件系统的吞吐量和可扩展性差，

假如数据量很大或者速度很快，就会在网络上产生瓶颈。后

来，谷歌提出的技术改变了传统的处理思路，谷歌去掉了中间

的存储网络，把存储和计算放在同一个物理机器上，降低了

I/O成本、时间成本和建设成本。现在，谷歌的GFS等都采

用这种技术理念。这是一个大方向，当然，也还有一些小问

题，比如，对于海量小文件来说，写操作的速度很慢，以前谷

歌的网页所有系统写数据不频繁，但读数据很频繁。存储技术

的发展需要突破GFS/HDFS在写操作、小文件存取等方面的性

能瓶颈，设计新的文件系统。

在数据管理技术方面，原来的数据是表格形式，表格之间

通过关系数据库（SQL）管理。其访问接口采用标准的SQL语

言，编程很方便。不过，现在出现了非结构化的数据，视频、

图片之类不能用传统的关系来存储和管理，这是存储格式要求

放宽之后带来的问题，这种结构存下来数据很难管理和访问。

以前的数据库可以用SQL语言来调用并进行分析，现在

是非结构化数据，需要方便的接口。放松一致性要求提升性

能，通过Key-Value、文件等存储增加灵活性，非关系型数据

第2页共10页

古之立大事者，不惟有超世之才，亦必有坚忍不拔之志。——苏轼

库（NoSQL）技术应运而生。新型数据库（NewSQL）有两个特

点：内部存储是按对象或者按非结构的数据去处理，外面的操

作可以用原有的SQL语言或类似语言来支持，具有融合关系

型和非关系型数据库特点，研发超大规模的新型数据库是数据

管理技术的发展方向。

并行计算技术

数据存储下来之后如何方便地查询?对于大数据量、复杂

任务，最简单的想法是分而治之，也就是把一项复杂的任务拆

分成多个很