Google云计算应用场景分析..ppt

应用场景分析2——Google搜索 数据整理（Google学术搜索） 数据抽取 寻找包含学术（论文）信息的网页数据，并结构化存储 学术（论文）信息抽取（分析参考文献、摘要等） 可能的技术方案：MapReduce+BigTable 数据统计 基于抽取的数据进行统计分析（如分析被引用次数等） 可能的技术方案MapReduce+BigTable 学术信息BigTable 行键：论文标题 列键：作者、主题词、摘要、参考文献、期刊信息、被引用次数、下载链接…… 应用场景分析2——Google搜索 数据整理（Google学术搜索） 如何使用MapReduce抽取数据？ 生成抽取目标（URL）文件 将目标文件分割为M块 寻找M个Worker分别做Map处理 查询网站的网页数据 是否包含论文描述信息 抽取论文描述信息，输出 按论文标题将输出排序 将论文描述信息存入BigTable 寻找若干Worker做Reduce处理 Map Reduce 自动处理 自动处理 应用场景分析2——Google搜索 数据整理（Google学术搜索） 如何获取论文统计数据（如论文引用次数） 分析论文信息表，二次MapReduce 论文A, 参考文献: {论文B, 论文C, 论文D} 论文B, 参考文献: {论文Q, 论文C, 论文A} 论文C, 参考文献: {论文D, 论文H, 论文A} 论文F, 参考文献: {论文A, 论文C} 论文E, 参考文献: {论文S, 论文A, 论文D} 论文S, 参考文献: {论文E, 论文F} 论文B, 1 论文C, 1 论文D, 1 论文Q, 1 论文C, 1 论文A, 1 论文D, 1 论文H, 1 论文A, 1 论文A, 1 论文C, 1 论文S, 1 论文A, 1 论文D, 1 论文E, 1 论文F, 1 应用场景分析2——Google搜索 数据整理（Google学术搜索） 如何获取论文统计数据（如论文引用次数） 归纳排序 论文B, 1 论文C, 1 论文D, 1 论文Q, 1 论文C, 1 论文A, 1 论文D, 1 论文H, 1 论文A, 1 论文A, 1 论文C, 1 论文S, 1 论文A, 1 论文D, 1 论文E, 1 论文F, 1 论文A, 1论文A, 1论文A, 1论文A, 1 论文B, 1 论文C, 1论文C, 1论文C, 1 论文D, 1论文D, 1论文D, 1 论文E, 1 论文F, 1 论文H, 1 论文Q, 1 论文S, 1 应用场景分析2——Google搜索 数据整理（Google学术搜索） 如何获取论文统计数据（如论文引用次数） Reduce操作 论文A, 1论文A, 1论文A, 1论文A, 1 论文B, 1 论文C, 1论文C, 1论文C, 1 论文D, 1论文D, 1论文D, 1 论文E, 1 论文F, 1 论文H, 1 论文Q, 1 论文S, 1 论文A, 4 论文B, 1 论文C, 3 论文D, 3 论文E, 1 论文F, 1 论文H, 1 论文Q, 1 论文S, 1 应用场景分析2——Google搜索 数据检索 有可能采用MapReduce实现 关键词搜索可能的处理流程 子表是否有Content列 是否包含关键词 关键词语义分析 任务划分（子表+新关键词） 输出到临时结果表 获取行数据中Content项 处理完成 分配Worker 结果输出 Map Reduce 应用场景分析2——Google搜索 数据检索 搜索结果可能通过临时表存储 每个关键词对应一个临时子表 检索系统根据输入枚举现存检索结果的相似关键词 如果临时子表中存在检索结果，直接输出 应该存在机制刷新临时子表 * Google云计算应用场景分析 主要内容 Google云计算技术框架 应用场景分析1：Google网站流量分析 应用场景分析2：Google搜索 Google云计算的技术架构 Google的云计算应用均依赖于四个基础组件 分布式文件存储，GFS 并行数据处理模型MapReduce 分布式锁Chubby 结构化数据表BigTable Google云计算应用 MapReduce BigTable GFS Chubby Google云计算的技术架构 Google云计算应用 BigTable GFS MapReduce Chubby 组件调用关系分析 Google云计算的技术架构 Chubby的作用 为GFS提供锁服务，选择Master节点；记录Master的相关描述信息 通过独占锁记录Chunk Server的活跃情况 为BigTable提供锁服务，记录子表元信息（如子表文件信息、子表分配信息、子表服务器信