大数据挖掘与分析技术手册（执行版）.docxVIP

大数据挖掘与分析技术手册（执行版）

第1章大数据概述与基础架构

1.1大数据特征定义与演进

我们通常所说的4V特征是指数据的规模（Volume）、速度（Velocity）、多样性（Variety）和价值（Value）。例如，某电商平台在双十一期间每秒产生的订单数据量可达1000万条，这就是典型的规模特征；而实时流处理系统（如Kafka）能捕捉到用户按钮的毫秒级数据流，则体现了速度特征。在演进方面，传统数据库主要处理结构化数据，而大数据技术则能处理半结构化（如JSON、XML）和非结构化数据（如图片、视频、日志文本）。以用户画像为例，传统数据库只能记录用户的注册时间和购买记录，而大数据技术能融合用户的浏览历史、社交互动轨迹及地理位置信息，构建出完整的用户行为图谱。

随着数据量的爆炸式增长，数据从“存储”阶段向“计算”阶段转变。例如，在金融风控场景中，不再是将数据导入数据库后再查询，而是直接通过HadoopMapReduce框架在海量数据上进行实时计算，从而在数据产生时立即识别欺诈行为。多样性特征要求系统具备处理多种数据格式的能力。例如，一个智能客服系统需要同时处理客服的语音转文字文本（结构化）、客服的聊天记录（非结构化）以及客服的的客服录音文件（多媒体），这需要技术架构能够统一调度多种数据源。价值特征强调从海量数据中挖掘出对决策有用的信息。例如，通过分