大数据学习基础知识点.doc

大数据学习基础知识点

大数据概念

大数据指的是海量、高增长、多样化且具有潜在价值的数据集合。这些数据规模巨大，远超传统数据处理能力的范畴，其多样性涵盖了结构化（如数据库中的表格数据）、半结构化（如XML、JSON格式数据）和非结构化数据（如文本、图像、视频等）。大数据的价值密度相对较低，需要通过特定的技术和方法挖掘其中有价值的信息。

大数据处理流程

1.数据采集：从各种数据源收集数据，包括传感器、网络日志、社交媒体平台等。采集方式有实时采集（如物联网设备数据实时传输）和批量采集（定期收集文件系统中的日志文件）。

2.数据存储：选择合适的存储方式，如关系型数据库适合结构化数据存储