intel英特尔大数据平台最佳实践.pptVIP

英特尔大数据平台最佳实践 提纲 大数据带来的挑战 大数据案例介绍 Intel大数据平台 2 云计算技术是处理大数据的有效手段 大数据和云是两个不同的概念，但两者之间有很多交集。 支撑大数据以及云计算的底层原则是一样的，即规模化、自动化、资源配置、自愈性，因此实际上大数据和云之间存在很多合力的地方。 大数据应用是在云上跑的、非常典型的应用。 ——大数据处理离不开云 大数据时代-数据爆发性增长 4 IDC预测全球的数据使用量到2020年会增长44倍，达到35.2ZB (1ZB = 10亿TB) *Source: McKinsey Global Institute Analysis SG Cross Asset Research, PwC 宽带、移动网络普及和提速 移动网络和各种智能终端 视频(医疗影像、地理信息、监控录像等) 统计、分析、预测、实时处理 传感器、RFID阅读器、导航终端等非传统IT设备 社交网络(Facebook, Twitter, 微博等) 大数据处理速度要求越来越高 Source: IDC Digital Universe Study, sponsored by EMC, May 2010 大数据与海量数据的一个重要区别，在于不但数据尺寸大，而且对数据处理的响应速度有有着更高的要求 传统的以周，天，小时为单位的运算处理周期，下降到以分钟，秒为单位 大数据高价值的重要体现-处理速度 数据的多样性 Source: IDC Digital Universe Study, sponsored by EMC, May 2010 数据形式的多样: 结构化数据 ，数据间有很强的因果关系 半结构化数据 ，数据间因果关系较弱 非结构化数据， 数据间无因果关系 数据来源的多样性: 不同的应用系统 各种设备 互联网 其它 创造显著业务价值（VALUE） © Copyright 2011 EMC Corporation. All rights reserved. 大数据分析 显著的业务价值 3V特性驱动下创建 挖掘数据资产价值，通过数据驱动业务，变成本中心为利润中心 智慧城市-典型的大数据应用集合 2019-2-11 8 大数据处理导致的平台瓶颈 Rapid Adoption Big Math Big Data “Moore’s Law” Scalability 数据处理需求与 传统平台硬件扩 展的差距不断扩 大 Industry Progress 大数据处理 需要的扩展 能力 大数据分析不同于传统BI分析 结构化数据 数据规模一般为TB规模 集中式，为了分析进行大量数据移动，数据向计算靠近 批处理为主 结构化/非结构化混合分析的能力 数据规模从数十TB到PB级别 分布式，计算向数据靠近 支持流式分析 事务 关系型数据库 批处理 数据仓库 分析 集群化 非结构化 流式 多种数据源 分析 (MapReduce) 组织 传统BI分析 大数据分析 分布式数据平台与传统数据平台融合 Raw Data Hadoop Cluster (Hundreds of TB’s to PB’s) Existing Data Warehouse (Hundreds of TB’s) Applications and Tools (Modeling on 100’s of TBs to PB’s) Structured Data Semi-Structured Data BI/Stat Tools Historical/Archival/Event Level Aggregated/Enriched Summary/Interactive ETL Data Enrichment Direct Query Direct query Direct Modeling 提纲 大数据带来的挑战 大数据案例介绍 Intel大数据平台 12 联通3G详单查询-问题来源（1/2） 随着移动互联网业务的发展，上网记录查询成为用户投诉的焦点 问题来源 目前，中国联通省分公司3G客户数据流量问题争议占3G业务投诉达7-10%，且近几个月呈上升趋势，个别省分比例高达20% 一些用户对3G业务流量产生及计费方式不了解，主观认为自己未使用或使用较少数据流量，要求运营商提供上网记录，而现有系统不具备此功能，从而导致投诉升级。 3G流量费争议占总咨询投诉量比率 上网记录查询对中国联通的业务发展产生了较大的影响 影响 对用户而言： “…要是能查到流量是和谁发生的就好了，如果是手机的问题，