大数据处理与分析技巧手册.docx

大数据处理与分析技巧手册

大数据处理与分析技巧手册

第1章基础概念与数据治理

1.1大数据定义与核心特征

大数据（BigData）通常被定义为具有“大量（Volume）、高速（Velocity）、多样（Variety）、真实（Veracity）和有价值（Value）”五大特征的数据集合。例如，某电商平台在双十一期间每秒产生的交易订单量达到每秒10万单，这就是典型的高速度数据场景。核心特征中的“4V是业界公认的衡量标准：Volume（大量）指数据量通常达到PB甚至EB级别，如用户行为日志；Velocity（高速）指数据产生和处理的速度极快，要求实时性；Variet