大数据时代如何挖掘值、如何做处理与分析.docVIP

大数据时代如何挖掘价值、如何做处理与分析 大数据的浪潮有多迅猛?IDC在2006年估计全世界产生的数据量是0.18ZB 1ZB 100万PB ，而今年这个数字已经提升了一个数量级，达到1.8ZB，差不多对应全世界每个人一块100多GB的硬盘。这种增长还在加速，预计2015年将达到近8ZB。目前IT系统的存储能力远远不足，就更不用说深入地挖掘和分析了。 　　在本文中，百度首席科学家威廉·张、Teradata首席客户官周俊凌、Yahoo!北京全球软件研发中心架构师韩轶平、SAP中国区企业信息管理咨询资深顾问杜韬等四位业内专家，将分享他们在应对海量数据挑战方面的见解和经验。 　　您所在企业的数据量现在达到了什么规模 威廉·张：这个问题比较容易回答。百度不是一个产品，不仅有搜索引擎，还包括很多社区产品和媒体产品，所以这个数字大概是数百个PB，每天处理的数据大约有几十个PB。我是差不多四年半前加入百度的，所以我比较清楚地记得那时候的规模。与那时相比，现在的数据规模成长比较惊人，大概是那时的500~1000倍。 　　数据量大并不可怕，问题是要实时处理数据，因为任何的时延都会使服务失去一些优势，从而导致商业经济的下降。我们所做的策略都是针对实时性的，而且今天互联网用户的需求更加实时化，比如说微博、团购、秒杀。 　　周俊凌：从IDC的数据统计报告来看，数据增长是非常快的。相对于具体的数据量，Ter