大数据技术应用与产业手册.docx

大数据技术应用与产业手册

第1章大数据基础理论

1.1大数据核心概念与特征

大数据是指大规模、高速度、高价值且多源异构的数据集合，其核心特征被业界概括为4V：Volume（体量巨大）、Velocity（产生速度快）、Variety（类型多样）、Value（价值密度低但挖掘潜力大）。以某电商平台的日均交易数据为例，单个用户每秒可能产生数十条浏览记录，汇聚后形成TB级甚至PB级的数据规模，且数据产生于毫秒级的实时流中。在技术实现层面，大数据处理需具备处理PB级数据的能力，例如Hadoop分布式文件系统可存储100PB以上的历史交易日志，而Spark内存计算引擎则