大数据分析与挖掘应用指南.docxVIP

大数据分析与挖掘应用指南

第1章大数据分析与挖掘基础理论

1.1大数据核心概念与特征

海量数据是指数据量达到PB甚至EB级别，远超传统数据库的处理能力，例如某电商平台的日交易记录可高达数十亿条，若按每秒100万条计算，每日需处理约30亿条数据，这要求系统必须具备弹性伸缩能力。②高速度（HighVelocity）特征表现为数据产生、传输和处理的速度极快，如物联网设备每秒产生的传感器数据需实时传输至云端分析，延迟毫秒级响应对实时预测至关重要。多样数据涵盖结构化（如SQL表格）、半结构化（如JSON日志、XML配置）和无结构化（如文本报告、视频流、图片），例如社交媒体上的用户评论包含自由文本，而数据库则是严格键值对，需统一解析规则才能融合分析。④真实性（Veracity）强调数据在采集、传输、存储和加工过程中的准确性，需通过校验机制确保入库数据的完整性，例如在物流场景中，若GPS信号丢失导致位置数据缺失，将直接导致路径规划算法失效。⑤价值（Value）指数据经过挖掘后能为组织带来的商业或决策价值，需量化评估数据对利润、效率或风险管理的贡献，例如通过用户画像分析提升转化率，其价值可通过ROI指标直观体现。非结构化数据占比通常超过50%，且分布不均，如医疗影像和基因数据虽体积小但信息密度极大，需采用深度学习等特定算法进行深度挖掘，而非