大数据复习题(答案).pdfVIP

以铜为镜，可以正衣冠；以古为镜，可以知兴替；以人为镜，可以明得失。——《旧唐书·魏征列传》

大数据复习题(答案)

大数据复习题（答案）

1、大数据概述

1.1什么是大数据？

大数据是指数据量太大、速度太快或种类太多，以至于无法通

过传统的数据管理工具进行处理和分析的数据集合。

1.2大数据的特征

-体量大：数据量通常以TB、PB、甚至EB计量。

-速度快：数据的获取和处理速度要求很高。

-多样性：数据类型和格式多样，包括结构化数据、半结构化

数据和非结构化数据。

1.3大数据的价值

大数据具有挖掘价值和应用价值，可以帮助企业和组织发现潜

在商机、预测趋势、精确定位目标用户、提高决策效率等。

2、大数据处理技术

2.1数据采集与存储

以铜为镜，可以正衣冠；以古为镜，可以知兴替；以人为镜，可以明得失。——《旧唐书·魏征列传》

-数据采集：包括传感器数据、日志数据、用户行为数据等的

收集和提取。

-数据存储：传统的关系型数据库、NoSQL数据库和Hadoop分

布式文件系统等。

2.2数据清洗与预处理

数据清洗和预处理是为了解决大数据中存在的异常数据、重复

数据、缺失数据等问题，保证数据的准确性和一致性。

2.3数据分析与挖掘

-数据分析：对数据进行统计、分布、趋势和关联等的分析。

-数据挖掘：通过机器学习、模式识别、聚类和分类等方法，

从数据中发现隐藏的模式和规律。

2.4数据可视化与展示

通过图表、地图、仪表盘等形式将数据结果进行可视化展示，

便于用户理解和决策。

3、大数据分析算法

3.1关联分析算法

关联分析是挖掘数据中的关联规则，找出数据中项之间的频繁

项集和置信度较高的规则。

以铜为镜，可以正衣冠；以古为镜，可以知兴替；以人为镜，可以明得失。——《旧唐书·魏征列传》

3.2聚类分析算法

聚类分析是将数据集中的对象按照某种相似度度量进行分组，

使得同一组内的对象相似度较高，不同组间的对象相似度较低。

3.3分类分析算法

分类分析通过训练样本和已知类别来建立分类模型，然后将新

的样本通过模型进行分类。

3.4预测分析算法

预测分析利用历史数据来预测未来的趋势和发展，为决策提供

依据。

4、附件

本文档涉及的附件包括相关的数据样本、数据处理代码、分析

结果图表等。

5、法律名词及注释

5.1隐私保护

指个人信息的收集、使用和存储等活动需要遵守相关的法律法

规，并保证个人信息的安全性和保密性。

5.2数据安全

以铜为镜，可以正衣冠；以古为镜，可以知兴替；以人为镜，可以明得失。——《旧唐书·魏征列传》

指保护大数据的存储、传输和处理过程中防止被非法获取、篡

改或破坏等安全问题。

5.3《数据安全法》

《数据安全法》是中国出台的一部关于数据安全的法律法规，

对数据的收集、存储、传输和处理进行规范和管理。