如何应对海量数据的挑战.docVIP

如何应对海量数据的挑战 海量数据的浪潮有多迅猛？IDC在2006年估计全世界产生的数据量是0.18ZB（1ZB=100万PB），而今年这个数字已经提升了一个数量级，达到1.8ZB，差不多对应全世界每个人一块100多GB的硬盘。这种增长还在加速，预计2015年将达到近8ZB。目前IT系统的存储能力远远不足，就更不用说深入地挖掘和分析了。 在本文中，百度首席科学家威廉·张、Teradata首席客户官周俊凌、Yahoo!北京全球软件研发中心架构师韩轶平、SAP中国区企业信息管理咨询资深顾问杜韬等四位业内专家，将分享他们在应对海量数据挑战方面的见解和经验。 您所在企业的数据量现在达到了什么规模？ 威廉·张：这个问题比较容易回答。百度不是一个产品，不仅有搜索引擎，还包括很多社区产品和媒体产品，所以这个数字大概是数百个PB，每天处理的数据大约有几十个PB。我是差不多四年半前加入百度的，所以我比较清楚地记得那时候的规模。与那时相比，现在的数据规模成长比较惊人，大概是那时的500~1000倍。 威廉·张：数据量大并不可怕，问题是要实时处理数据 数据量大并不可怕，问题是要实时处理数据，因为任何的时延都会使服务失去一些优势，从而导致商业经济的下降。我们所做的策略都是针对实时性的，而且今天互联网用户的需求更加实时化，比如说微博、团购、秒杀。 周俊凌：从IDC的数据统计报告来看，数据增长是非常快的。相对于具体的数据量，Teradata更关注数据发展的趋势，并大量投入研究这种发展趋势，包括BI方面的变化和增长模式，这个模式对于我们非常有价值，通过研究这种模式，包括每分钟、每秒钟交易量有多大等这些数据的发掘和建模，数据科学家进行研究和探讨，把这些技术应用到生产系统里面，对企业发挥作用。 韩轶平：Yahoo!的主要云计算平台Hadoop现在有34个集群，总数超过3万台机器，最大的集群是4000台左右，总存储容量超过100PB。这个数量级可以说并不大，主要原因在于我们最近将很多精力放在处理用户隐私性和数据安全性上，因为按照欧盟的规定，Yahoo!不能存储超过一年的数据，所以我们的应对措施就是：不保存原始数据，但做很深入的数据挖掘，挖掘出真正蕴含的有价值的信息，把这些信息保存下来。 杜韬：SAP作为企业级应用提供商，更关注客户的数据量，而我们的客户有许多数据密集型企业，比如电信、金融、政府、零售等，数据量级从几个TB到数百TB。SAP在德国总部的数据中心有3万台服务器，数据量大概是15PB，主要为客户提供服务。我们正在帮助客户将内部应用迁移到我们的数据中心服务平台，这也意味着越来越多的客户数据会存在我们这儿。 面对如此海量的数据，您所在公司是怎样进行存储、处理、分析的？ 杜韬：一方面在数据中心，我们使用了标准的虚拟化以及分布式存储；另一方面，我们推出了内存计算技术，用以应对数据应用和分析的挑战。传统的架构存在很大的瓶颈，磁盘读取是以毫秒，而内存读取则是纳秒。因此，我们将以前需要在应用层做的计算分析，比如预测分析或者大量运算，都放到内存里操作，从而实现性能提升，帮助用户充分利用数据。 周俊凌：通过数据访问频率高低确认数据温度，进行数据压缩 韩轶平：对Yahoo!的情况，我想分三个部分来说明：数据采集、数据存储和数据处理。在数据采集方面，我们建立了一个遍布Yahoo!几个数据中心、几十万台机器的实时搜集数据系统，该系统特点是一个主干道负责把数据经过过滤、清理以后，进行整合，并且在高可靠性的情况下，把它放到Hadoop平台。虽然相对来说精度很高、效果很好，但速度会慢一些。为了满足威廉·张所说实时性的需求，还有一个旁路系统，旁路系统在秒级能够把数据汇到主干道上，这是数据采集的部分。 在数据存储方面，基本上以HDFS为核心。在数据处理方面，主要技术是Hadoop、MapReduce以及我们自己开发的Pig。目前，我们有超过一半数据处理引擎是用Pig完成的。 周俊凌：Teradata一直在持续创新传统的企业级数据仓库产品线，在对接大数据时代的同时，继续传统的BI领域，包括提高数据处理的能力，从而更容易适应大数据管理。例如，通过数据访问频率高低确认数据温度，进行数据压缩，适应大数据的分析要求，使数据管理更容易。 我们有适应超高规模数据容量要求的硬件平台产品Teradata 1000，可以压缩35PB的数据。特别适用一些结构性数据和非结构性数据的分析，同时开发了很多能够进行数据统计和分析的软件包，包括将Hadoop等架构整合到Teradata数据仓库之中，可以基于目前的Teradata企业级数据仓库接口使用。 我们提供基于云的架构，能够使用Amazon EC2，为客户提供安全的存储产品，用来存储公司防火墙以外的、存储在云端的数据。我们刚刚收购了Aster Data