云计算商家对比技术报告.ppt

应用场景分析2——Google搜索 数据整理（Google学术搜索） 如何获取论文统计数据（如论文引用次数） 分析论文信息表，二次MapReduce 论文A, 参考文献: {论文B, 论文C, 论文D} 论文B, 参考文献: {论文Q, 论文C, 论文A} 论文C, 参考文献: {论文D, 论文H, 论文A} 论文F, 参考文献: {论文A, 论文C} 论文E, 参考文献: {论文S, 论文A, 论文D} 论文S, 参考文献: {论文E, 论文F} 论文B, 1 论文C, 1 论文D, 1 论文Q, 1 论文C, 1 论文A, 1 论文D, 1 论文H, 1 论文A, 1 论文A, 1 论文C, 1 论文S, 1 论文A, 1 论文D, 1 论文E, 1 论文F, 1 应用场景分析2——Google搜索 数据整理（Google学术搜索） 如何获取论文统计数据（如论文引用次数） 归纳排序 论文B, 1 论文C, 1 论文D, 1 论文Q, 1 论文C, 1 论文A, 1 论文D, 1 论文H, 1 论文A, 1 论文A, 1 论文C, 1 论文S, 1 论文A, 1 论文D, 1 论文E, 1 论文F, 1 论文A, 1论文A, 1论文A, 1论文A, 1 论文B, 1 论文C, 1论文C, 1论文C, 1 论文D, 1论文D, 1论文D, 1 论文E, 1 论文F, 1 论文H, 1 论文Q, 1 论文S, 1 应用场景分析2——Google搜索 数据整理（Google学术搜索） 如何获取论文统计数据（如论文引用次数） Reduce操作 论文A, 1论文A, 1论文A, 1论文A, 1 论文B, 1 论文C, 1论文C, 1论文C, 1 论文D, 1论文D, 1论文D, 1 论文E, 1 论文F, 1 论文H, 1 论文Q, 1 论文S, 1 论文A, 4 论文B, 1 论文C, 3 论文D, 3 论文E, 1 论文F, 1 论文H, 1 论文Q, 1 论文S, 1 应用场景分析2——Google搜索 数据检索 有可能采用MapReduce实现 关键词搜索可能的处理流程 子表是否有Content列 是否包含关键词 关键词语义分析 任务划分（子表+新关键词） 输出到临时结果表 获取行数据中Content项 处理完成 分配Worker 结果输出 Map Reduce 应用场景分析2——Google搜索 数据检索 搜索结果可能通过临时表存储 每个关键词对应一个临时子表 检索系统根据输入枚举现存检索结果的相似关键词 如果临时子表中存在检索结果，直接输出 应该存在机制刷新临时子表 小结 互联网公司 云计算的主要提供者和使用者，也是云计算的重要推动者 分析和处理海量数据 新的商业模式 普通用户 享受到高性能所带来的服务和便利 讨论 云计算的问题？ 安全性 在云中如何保护用户的隐私并让用户放心？ 标准化 各大IT公司又能否推出统一的标准？ ？？？ 云计算的未来？ * * * * * 数据库服务比较 Google App Engine Datastore 亚马逊SimpleDB 微软SQL数据服务 系统结构 Model、实体组、实体三级模式 域、条目、属性、值四级模式 Authority、容器、实体三级模式 主要存储的数据类型 结构化和半结构化数据 结构化数据 结构化数据 所用的查询语言 GQL 支持有限的SQL语句 SQL 查询限制 返回的结果不能超过1000条 响应时间不能超过5秒 返回的结果不能超过500页 数据更新时间 有延迟，但不是常态 有延迟 没有延迟 实现的功能 较多 最少 最多 Google云计算应用场景分析 Google云计算技术框架 应用场景分析1：Google网站流量分析 应用场景分析2：Google搜索 Google云计算的技术架构 Google的云计算应用均依赖于四个基础组件 分布式文件存储，GFS 并行数据处理模型MapReduce 分布式锁Chubby 结构化数据表BigTable Google云计算应用 MapReduce BigTable GFS Chubby Google云计算的技术架构 Google云计算应用 BigTable GFS MapReduce Chubby 组件调用关系分析 Google云计算的技术架构 Chubby的作用 为GFS提供锁服务，选择Master节点；记录Master的相关描述信息 通过独占锁记录Chunk Server的活跃情况 为BigTable提供锁服务，记录子表元信息（如子表文件信息、子表分配信息、子表服务器信息） （可能）记录MapReduce的任务信息 为第三方提