大数据分析与信用评估手册.docxVIP

大数据分析与信用评估手册

第1章

1.1大数据特征与核心概念解析

大数据首先被定义为5V特征，即Volume（海量性）、Velocity（高速性）、Variety（多样性）、Value（价值挖掘）和Veracity（真实性）。例如，在金融风控场景中，一笔交易可能每秒产生数十条记录，体现了Velocity；同时，交易数据包含结构化金额、非结构化用户画像描述及实时流数据，体现了Variety。核心概念中，BigData的存储与计算能力是支撑其应用的基础。以电商大促为例，当每秒访问量达到百万级别时，传统关系型数据库无法处理，必须引入分布式计算框架如ApacheSpark或Had