Hadoop大数据处理讲义-C2. Google核心云计算技术.pdf

海量数据处理中的云计算 C2. Google核心云计算技术 北京邮电大学信息与通信工程学院 刘军 2014年春季学期 上节思考问题  问题：（任选其一） – Google是如何解决其海量数据处理的三个关键性问题的？（存储、计算、 容错选择一个） – 云技术之前的各种大数据处理技术 （Raid、Parallel Computing等 ）都存 在什么缺陷和局限性 ？原因是什么？  要求： – 任选一个方面研究并详细讲解 第2页 本节目录  走进Google  PageRank算法  Google核心云计算技术 第3页 Google Google最重要的业务？ 搜索 AdWords  Google发展史 图片搜索 开始收购 地图 Gmail+ 社交网络 当佩奇遇见 命名 首名专用 +30亿网 +Google +Talk+ 街景 搜索 +实时 地图导航 + 布林 Google 厨师入职 址索引 图书 分析 +Android 搜索 收购Moto 1996 1998 2000 2002 2004 2006 2008 2010 2012 1995 1997 1999 2001 2003 2005 2007 2009 2011 ... 合作开发 Google 建立10亿 商品+新 80亿网址 YouTube Health+ 手机 +投 平板电脑 BackRub 公司成立 网址的索 闻+API 索引 +上市 +Google iPhone 资能源 + +Google 搜索引擎 引 +学术搜索 Apps 应用 应用商店 眼镜 第4页 Google之前的搜索  目录型搜索：Yahoo! – 收集 ：人工分类 – 索引 ：主题 – 使用：目录结构 – 优点：准确率高 – 缺点：覆盖率低  索引型搜索：AltaVista – 收集：自动爬取（Scooter ） – 索引 ：自动标记 – 使用：输入关键词搜索 – 优点：覆盖率高 – 缺点：准确率低  覆盖率 VS. 准确率：鱼与熊掌不可兼得？ 第5页 Google的搜索 – 3/10时代进入8/10时代 全 快 准 第6页 Google的自我揭秘！  核心算法 – Lawrence Page, Sergey Brin, et. al., The PageRank Citation Ranking: Bringing Order to the Web.