2025年第1章大数据技术教程-大数据技术概述 .pdfVIP

好学近乎知，力行近乎仁，知耻近乎勇。——《中庸》

第一章大数据技术概述

1.1大数据的概念

近几年来，互联网技术飞速发展，特别是社交网络、物联网、云计算、雾计算技术的兴

起与普及，以及各种传感器的广泛应用，数量庞大、种类众多、时效性强的非结构化数据成

指数级增长，传统的数据存储、分析技术在实时处理大量的非结构化信息时遇到瓶颈，大数

据的概念应运而生。到底什么是大数据？大数据的特征是什么？大数据与传统上的数据有哪

些不同特性？大数据具有哪些应用价值？大数据通常的处理技术有哪些？针对这些问题，我

们将在本教程中逐一探讨。

1.1.1什么是大数据

在探讨什么是大数据前，我们先来了解一下什么是数据。

传统意义上的数据是对客观事物的逻辑归纳，是事实或观察的结果，是用于表示客观事

物的未经加工的“有根据的数字”。数据源于测量，是对客观世界测量结果的记录。人类一

切语言文字、图形图画、音像记录，所有感官可以察觉的事物，只要能被记下来，能够查询

到，就都是数据(data)。当人类进入信息时代之后，数据是一切能输入计算机并被计算机程

序处理，具有一定意义的数字、字母、符号和模拟量等的通称。数据可以是连续的值，比如

声音、图像，称之为模拟数据；它也可以是离散的，如符号、文字，称之为数字数据。在现

代计算机系统中，所有的数据都是数字的。数字数据是所有数据中最容易被处理的一种，许

多和数据相关的概念，都是立足于数字数据。传统意义上的数据一词，尤其是相对于今天的

“大数据”的“小数据”,主要指的就是数字数据，甚至在很多情况下专指统计数字数据，

这些数字数据用来描述某种客观事物的属性。

大数据属于数据范畴，在类型上涵盖模拟数据和数字数据，在体量方面，具有数据庞大

的特征，在数据处理方式，与传统的数据处理方式有所不同。人们在早些年习惯把规模庞大

的数据称为“海量数据”，但实际上，大数据（BigData）这个概念在2008年就已经被提

出。2008年，在Google公司成立10周年之际，著名的《自然》杂志专门出版了一期专刊，

讨论大数据相关的一系列技术问题，其中就提出了大数据（BigData）的概念。

长风破浪会有时，直挂云帆济沧海。——李白

随着对大数据越来越多的了解，人们常常会问，究竟怎样的数据才能称作大数据？其实，

关于大数据的定义，难以有一个非常准确的说法。维基百科给出了一个关于大数据的描述：

大数据是指无法使用传统和常用的软件技术和工具在一定时间内完成获取、管理和处理的数

据集。国内学者给出的定义:大数据是综合利用新的技术方法对多源、异构、动态的数字资

源进行规模化的整合和处理，通过构成新的、复杂的逻辑机构以帮助人们解决具体问题的信

息集成。

总的来说，大数据是指涉及的数据规模巨大到无法通过人工或计算机，在合理的时间内

达到截取、管理、处理并整理成为人们所能解读的形式的信息。

其实，如今“大数据”一词的重点已经不仅在于数据规模的定义，它更多的是代表着计

算机以及信息技术发展进入了一个新的时代，代表着大数据处理所需要的新技术和新方法，

也代表着大数据分析和应用所带来的新发明、新服务和新的发展机遇。

大数据技术是新兴的，能够高速捕获、分析、处理大容量多种类型数据，并从中得到相

应的技术和架构。大数据处理的关键技术主要包括：数据采集和预处理、数据存储、基础架

构、数据分析和挖掘以及大数据应用。

大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行

专业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提

高对数据的“加工能力”，通过