大数据全部知识点.docVIP

大数据全部知识点

大数据技术基础

1.大数据定义

-大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

2.大数据特征

-数据体量（Volume）：数据规模巨大，通常达到TB或PB级别。

-数据速度（Velocity）：数据生成和需要处理的速度非常快，如实时数据流。

-数据多样性（Variety）：数据类型繁多，包括结构化数据、半结构化数据和非结构化数据。

-数据价值密度（Value）：价值密度相对较低，但通过分析可以挖掘出高价值信息。

-数据真实性（Veracity）：数据质量参差不齐，可能存在错误或不一致性。

大数据处理框架

1.Hadoop

-Hadoop是一个开源框架，用于分布式存储和处理大规模数据集。

-HDFS（HadoopDistributedFileSystem）：分布式文件系统，用于存储大数据。

-MapReduce：编程模型，用于大规模数据集的并行计算。

2.Spark

-Spark是一个快速、通用和可扩展的集群计算系统。

-RDD（ResilientDistributedDataset）：弹性分布式数据集，提供容错性和高效处理。