2013年国外互联网公司大数据技术架构研究-赛智时代.pdf

赛智时代：国外互联网公司大数据技术架构研究 2013 年国外互联网公司 大数据技术架构研究 ——更大、更准、更快！ 研究机构：北京赛智时代信息技术咨询有限公司（CIOManage 咨询） 2013/10/31 1 赛智时代：国外互联网公司大数据技术架构研究 目录 一、Google 1 1、谷歌的数据中心1 2、谷歌新一代搜索引擎平台和大数据分析核心技术1 3、谷歌基础云服务3 4、谷歌的大数据智能应用服务3 二、Yahoo 5 1、核心YARN 6 2、Storm 6 3、Spark 7 4、存储层7 三、Amazon 8 1、Amazon Elastic MapReduce （EMR）8 2、Amazon EC2 和S3 9 3、新的大数据服务10 四、Facebook 10 1、Facebook 早期的大数据技术架构10 2 赛智时代：国外互联网公司大数据技术架构研究 2、Facebook 当前的大数据技术架构11 3、Facebook 未来的大数据技术架构12 五、Twitter 13 1、批处理架构13 2、流计算架构14 3、NOSQL 数据库14 4、Mesos 操作系统14 5、Summingbird 15 3 赛智时代：国外互联网公司大数据技术架构研究 一、Google Google 是大数据时代的奠基者 ，其大数据技术架构一直是互联网公司争相 学习和研究的重点，也是行业大数据技术架构的标杆和示范。 1、谷歌的数据中心 谷歌已经建立了世界上最快、最强大、最高质量的数据中心，它的8 个主要 数据中心都远离其位于加州山景城的总部，分别位于美国南卡罗来纳州的伯克利 郡，爱荷华州的康瑟尔布拉夫斯，乔治亚州的道格拉斯郡，俄克拉荷马州的梅斯 郡，北卡罗来纳州的勒努瓦，俄勒冈州的达尔斯；另外2 个在美国境外，分别是 芬兰的哈米纳和比利时的圣吉斯兰。此外，谷歌公司还在中国香港和中国台湾， 以及新加坡和智利建立了数据中心。 2、谷歌新一代搜索引擎平台和大数据分析核心技术 Google 是GFS MapReduce BigTable 的缔造者，但Google 新一代搜索引擎平 台正逐步用更强计算能力的系统来替换原有系统，新一代搜索引擎平台有几个核 心技术系统： 一是用基于Percolator 的增量处理索引系统来取代MapReduce 批处理索引系 统，这个索引系统被称作Caffeine ，它比MapReduce 批处理索引系统搜索更快。 1 赛智时代：国外互联网公司大数据技术架构研究 二是专为BigTable 设计的分布式存储Colossus ，也被称为GFS2 （二代 Google 文件系统），它专为建立Caffeine 搜索索引系统而用。 三是列存储数据库BigTable，但为了更好地支持大数据集的互动分析， Google 推出了Dremel 和PowerDrill。Dremel 被设计用来管理非常大量的大数据 集（指数据集的数量和每数据集的规模都大），而PowerDrill 则设计用来分析少 量的大数据集（指数据集的规模大，但数据集的数量不多）时提供更强大的分析 性能。 四是为Google Instant 提供服务的实时搜索引擎存储和分析架构。