大数据导论知识点总结.pdfVIP

大数据导论知识点总结

在当今信息爆炸的时代，大数据已经成为了各行各业中不可忽视的

重要资源。大数据的广泛运用带来了许多创新和机遇，也带来了许多

挑战和隐私问题。本文将从以下几个方面对大数据导论的相关知识点

进行总结。

一、大数据的定义与特点

1.定义：大数据是指在传统数据库和数据管理工具无法处理的规模

巨大、结构复杂或速度快的数据集合。

2.特点：

数据量大：大数据的数据量通常以-TB、PB甚至EB级别计量，

超出了传统数据库的处理能力。

数据类型多样：大数据包含结构化数据、半结构化数据和非结构-

化数据等多种数据类型。

时效性-高：大数据的生成速度极快，需要实时或近实时地对数据

进行处理和分析。

数据-价值潜力大：大数据蕴含着丰富的信息和洞见，可以帮助决

策者做出更准确的决策。

二、大数据的来源与获取

1.来源：大数据的来源包括但不限于以下几方面：

传感器和物联网设备：如智能手机、智能家居设备等。-

社交媒体和网络数据：如微博、微信、新闻网站等。-

企业内部数据：如销售数据、用户行为数据等。-

公共数据：如交通数据、天气数据等。-

2.获取：获取大数据的方式主要有以下几种：

爬取和抓取：通过网络爬虫等技术手段，从网页、社交媒体等获-

取数据。

-日志记录和监测：通过系统日志、服务器日志等记录数据。

传感器和仪器收集：通过传感器和仪器采集现场数据。-

购买和订阅：从数据提供商购买或订阅数据。-

三、大数据的存储与管理

1.存储技术：

关系型数据库：适用于结构化数据的存储和管理，如-MySQL、

Oracle等。

非关系型数据库：适用于半结构化和非结构化数据的存储和管理，-

如MongoDB、Redis等。