大数据平台最佳实践.pdf

大数据大数据平台平台最佳实践最佳实践 提纲 • 大大数数据带来的挑据带来的挑战战 • 大数据大数据案例介绍案例介绍 • IntelIntel大数据平台大数据平台 2 云计算技术是处理大数据的有效手段  大数据和云是两个不同的概念，但两者 之间有很多交集。 之间有很多交集。  支撑大数据以及云计算的底层原则是一 样的，即规模化、自动化、资源配置、 Big Data 自愈性，因此实际上大数据和云之间存 自愈性，因此实际上大数据和云之间存 BigBig 在很多合力的地方。  大数据应用是在云上跑的、非常典型的 应用。 ——大数据处理离不开云 大数据时代-数据爆发性增长 统计、分析、预测、实时处理 IDCIDC预测全球的数据使用量到预测全球的数据使用量会增长年会增长4444倍倍，，达到达到3535.2ZB2ZB (1ZB(1ZB 1010亿亿TB)TB) *Source: McKinsey Global Institute Analysis 4 SG Cross Asset Research, PwC 大数据处理速度要求越来越高 High utility Diminishing utility Archival value • 大数据与海量数据的一 High 个重要区别个重要区别，，在于不但在于不但 数据尺寸大，而且对数 e u l 据处理的响应速度有有 a V 着更高的要求着更高的要求 • 传统的以周传统的以周，天天，小时小时 LLow 为单位的运算处理周期 ，下降到以分钟，秒为 单位单位 Time • 大数据高价值的重要体 Negative 现-处理速度 Source: IDC Digital Universe Study, sponsored by EMC, May 2010 数据的多样性 • 数据形式的多样: – 结构化数据 ，数据间有很强的因果关系 半结构化数据 数据间因果关系较弱 Flat file – 半结构化数据 ，数据间因果关系较弱 – 非结构化数据， 数据间无因果关系 • 数据来源的多样性: – 不同的应用系统 – 各种设备 – 互联网互联网 – 其它 Source: IDC Digital Universe Study, sponsored by EMC, May 2010 创造显著业务价值（VALUE ） 大数据分析 3V特性驱动下创建 显著的著的业务价值务价值 挖掘数据资产价值，通过数据驱动业务，变 成本中心为利润中