1.1.1 大数据处理的背景t.pdfVIP

大数据处理的背景 海量数据的时代正在到来 统计、分析、预测、实时处理 IDC预测全球的数据使用量到2020年会增长44倍，达到35.2ZB (1ZB = 10亿TB) *Source: McKinsey Global Institute Analysis SG Cross Asset Research, PwC 什么是大数据 Source: IDC 2012 on Big Data • 数据集主要特点 Volume: 数据量从TB到PB级别 Variety: 数据类型复杂，超过80%的数据是非结构化的 Velocity:数据量在持续增加(两位数的年增长率) • 其他特征 数据来自大量源，需要做相关性分析 需要实时或者准实时的流式采集，有些应用90%写vs.10%读 数据需要长时间存储，非热点数据也会被随机访问 大数据——正在快速涌现的生态系统