大数据分析与挖掘指南.docxVIP

大数据分析与挖掘指南

第1章大数据分析与挖掘指南

1.1大数据核心定义与特征

大数据是指规模巨大、类型多样、速度快且难以用传统数据库进行高效处理的信息集合，其核心特征被称为5V模型：Volume（体量巨大）、Velocity（处理速度快）、Variety（类型多样）、Value（价值密度低）和Veracity（真实性/可验证性）。以金融风控为例，某银行每日接收来自信用卡交易、移动端APP登录及社交网络行为的海量数据，这些数据的实时量级可达PB级别，若按传统SQL查询，仅获取单条记录所需时间往往超过1秒，无法满足实时决策需求。

在医疗领域，医院通过LIS（实验室信息系统）和PACS（影像归档和通信系统）产生的病历、检验报告、影像数据呈指数级增长，这些异构数据（结构化、半结构化、非结构化）混合在一起，构成了典型的宽表场景，传统关系型数据库难以高效关联。数据价值体现在从海量噪音中提取高价值信息的能力，例如从数亿条用户日志中挖掘出潜在的用户流失预测模型，其准确率需达到90%以上才能支撑商业决策，这要求数据必须经过严格的清洗和特征工程处理。数据真实性要求数据来源可靠、采集过程可追溯、内容无篡改，在自动驾驶场景中，车辆每秒数千帧视频数据，必须确保每一帧图像的像素值与传感器原始数据完全一致，任何微小的偏差都可能导致算法失效。

定义与特征的总结在于，只