Google云计算应用场景分析最全版.pptVIP

应用场景分析2——Google搜索 Google搜索的总体业务流程 数据采集: Spider 数据整理 生成各类子表，如音乐表、生活搜索表、学术搜索表等 压缩数据表，清洗失效数据 数据检索 * yrty tyuyt utyu tyuyt utyu tyuyt utyu tyuyt utyu tyuyt utyu tyuyt utyu tyuyt utyu Google云计算应用场景分析 * yrty 主要内容 Google云计算技术框架 应用场景分析1：Google网站流量分析 应用场景分析2：Google搜索 * yrty Google云计算的技术架构 Google的云计算应用均依赖于四个基础组件 分布式文件存储，GFS 并行数据处理模型MapReduce 分布式锁Chubby 结构化数据表BigTable Google云计算应用 MapReduce BigTable GFS Chubby * yrty Google云计算的技术架构 Google云计算应用 BigTable GFS MapReduce Chubby 组件调用关系分析 * yrty Google云计算的技术架构 Chubby的作用 为GFS提供锁服务，选择Master节点；记录Master的相关描述信息 通过独占锁记录Chunk Server的活跃情况 为BigTable提供锁服务，记录子表元信息（如子表文件信息、子表分配信息、子表服务器信息） 记录MapReduce的任务信息 为第三方提供锁服务与文件存储 Google云计算应用 BigTable GFS MapReduce Chubby * yrty Google云计算的技术架构 GFS的作用 存储BigTable的子表文件 为第三方应用提供大尺寸文件存储功能 文件读操作流程 API与Master通信，获取文件元信息 根据指定的读取位置和读取长度，API发起并发操作，分别从若干ChunkServer上读取数据 API组装所得数据，返回结果 Google云计算应用 BigTable GFS MapReduce Chubby * yrty Google云计算的技术架构 BigTable的作用 为Google云计算应用（或第三方应用）提供数据结构化存储功能 类似于数据库 为应用提供简单数据查询功能（不支持联合查询） 为MapReduce提供数据源或数据结果存储 Google云计算应用 BigTable GFS MapReduce Chubby * yrty Google云计算的技术架构 BigTable的存储与服务请求的响应 划分为子表存储，每个子表对应一个子表文件，子表文件存储于GFS之上 BigTable通过元数据组织子表 每个子表都被分配给一个子表服务器 一个子表服务器可同时分配多个子表 子表服务器负责对外提供服务，响应查询请求 Tablet 1: startRowKey1, endRowKey1, root\bigtable\tablet1,…… Tablet 2: startRowKey2, endRowKey2, root\bigtable\tablet2,…… Tablet 3: startRowKey3, endRowKey3, root\bigtable\tablet3,…… Tablet 4: startRowKey4, endRowKey4, root\bigtable\tablet4,…… * yrty Google云计算的技术架构 MapReduce的作用 对BigTable中的数据进行并行计算处理（如统计、归类等） 使用BigTable或GFS存储计算结果 Google云计算应用 BigTable GFS MapReduce Chubby * yrty 应用场景分析1——Google网站流量分析 Google Analytics 免费的企业级网络分析解决方案 帮助企业了解网站流量和营销效果 能以灵活的方式（各类报表）查看并分析流量数据 * yrty 应用场景分析1——Google网站流量分析 * yrty 应用场景分析1——Google网站流量分析 基本功能 统计网站的基本数据，包括会话、综合浏览量、点击量和字节流量等等 分析网站页面关注度，帮助企业调整或增删页面 分析用户浏览路径，优化页面布局 分析用户访问来源链接，提高广告投资回报 分析用户访问环境（如OS和Explorer），帮助美化页面 * yrty 应用场景分析1——Google网站流量分析 应用的特征 海量数据 需要存储海量的用户行为数据（如点击时间、位置等） 海量用户 需要为任意多的网站提供流量分析 技术路线 使用BigTable存储和检索数据，使用MapReduce统计数据 * yrty 应