大数据导论第一章 瑞易教育.pdfVIP

大数据导论第一章瑞易教育--第1页

大数据导论第一章瑞易教育

数据的定义与类型

定义：数据是信息的载体。数据是对客观事物历史情况的抽象表

示，可以被记录、保存、传递、分析和处理。我们可以通过数据去了

解过去，分析现在，预测未来。所以数据就像是时间的痕迹，我们正

是通过数据来感受时间流逝的。

类型：

1、统计学中的数据类型：

2、计算机语言中的数据类型：整型、浮点型、字符串、布尔型、

矩阵等

3、数据科学中的数据类型：数值、文本、图像、视频、音频等。

随着科技的进步，数据类型不断扩充，数据的多元化也是推动大

数据分析技术出现的重要原因之一。

大数据的含义及特征

定义：一种规模大到在获取、存储、管理、分析方面大大超出了

传统数据库软件工具能力范围的数据集合。

大数据具备以下五个特征：

1、volume(大量)，大数据集的数据量很大。

2、velocity(高速)，获得数据的速度要快。因为数据量必须要

大，所以如果收集速度慢的话，可能会导致数据过时无法进行分析研

究。一般情况下大数据都是被计算机实时收集的。

大数据导论第一章瑞易教育--第1页

大数据导论第一章瑞易教育--第2页

3、variety(多样)，大数据集的数据类型多种多样，包括数值、

图像、文本、音频、视频等。技术的发展让数据更加多元化，这就要

求大数据分析必须支持多种数据格式和类型。

4、veracity(真实准确)，数据集的质量要高。一般情况下，数

据集中包含信号（signal）与噪声(noise)，信号是有价值的能够转

化为有用信息的数据，而噪声是无法转化为信息的数据。信噪比越高

的数据质量越高。

5、value(价值)，数据对企业的有用性，以低成本创造高价值。

可以从两个维度来评价数据的价值：一是数据的质量，信噪比越高的

数据能够得到的信息越多，价值就越高，二是处理分析数据的速度，

企业的目的不是得到数据而是获得数据中包含的信息（information）、

知识（knowledge）和智慧(wisdom)，所以得到分析结果所用的时间

越短，数据的价值就越高。

大数据分析与小数据分析的区别与联系

两者的最终目的都是为了提取数据中的信息，从而获得知识与智

慧，帮助决策。二者区别有以下几个方面：

数据收集与数据类型：小数据分析需要的数据一般都是针对某一

特定的问题，通过实验等方式主动收集得到的，数据多为结构化数据，

且先有结构再有内容（已知分析需要的变量，再去收集数据）；而大

数据集由于对获得数据的速度有要求，所以一般情况下都是被动收集

到的，因此数据包括的内容比较全面，且数据类型更加多元化。

数据分析的方法：小数据分析方法一般为传统方法，比如假设检

大数据导论第一章瑞易教育--第2页

大数据导论第一章瑞易教育--第3页

验、方差分析等，大数据分析一般无法用传统方法进行，必须用神经

网络等大数据分析方法，或者通过某些手段将大数据集转化为小数据

集再利用传统方法进行分析。

大数据分析的动机

原始动机：最大化数据的价值，降低数据存储成本，获得更多利

润（这里的成本与利润包括人力、物力、财力）。技术的发展使得收

集人类生产生活中产生的数据越来越容易，速度越来越快（大数据集

的产生），但存储这些数