大数据分析、挖掘与应用.ppt

太原科技大学计算机科学与技术学院  大数据分析、挖掘与应用 张继福、张素兰 Email:jifuzh@ zjf@ 2013年11月 一、大数据分析与挖掘 大数据的基本概念 比较有代表性： 1) 3V 定义，即认为大数据需满足3 个特点：规模性(Volume)、多样性(Variety)和高速性(Velocity)。 2) 4V 定义，即尝试在3V 的基础上增加一个新的特性。关于第四个V 的说法并不统一，IDC 认为大数据还应当具有价值性(Value)，大数据的价值往往呈现出稀疏性的特点。而IBM 认为大数据必然具有真实性(Veracity)。 3) 维基百科对大数据的定义则简单明了：大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。 二、大数据处理架构 大数据处理模式 1）流处理(Stream Processing)，即直接处理 流处理的基本理念是数据的价值会随着时间的流逝而不断减少。因