《云计算(第三版)》第2章_Google云计算原理与应用(四).pptxVIP

《云计算》第三版配套PPT课件电子工业出版社《云计算(第三版)》配套课件第 2 章of64Google云计算原理与应用（四） 《云计算》第三版配套PPT课件目录2 . 1 G o o g l e 文件系统G F S2 . 2 分布式数据处理M a p R e d u c e 2 . 3 分布式锁服务C h u b b y2 . 4 分布式结构化数据表B i g t a b l e2 . 5 分布式存储系统M e g a s t o r e2 . 6 大规模分布式系统的监控基础架构Dapper2 . 7 海量数据的交互式分析工具D r e m e l 2 . 8 内存大数据分析系统P o w e r D r i l l 2 . 9 G o o g l e 应用程序引擎of64 数据本身不会产生价值只有经过分析才有可能产生价值 of64《云计算》第三版配套PPT课件2 .7 海量数据的交互式分析工具Dremel2 . 7 . 1 产生背景2 . 7 . 2 数据模型2 . 7 . 3 嵌套式的列存储2 . 7 . 4 查询语言与执行2 . 7 . 5 性能分析2 . 7 . 6 小结 《云计算》第三版配套PPT课件产生背景2 . 7 海量数据的交互式分析工具D r e m e l优点：便携MapReduce缺点：效率低Google的团队结合其自身的实际需求，借鉴搜索引擎和并行数据库的一些技术，开发出了实时的交互式查询系统Dremel。5 of64 《云计算》第三版配套PPT课件2 . 7 海量数据的交互式分析工具D r e m e lDremel支持的典型应用Web文档的分析Android市场的应用安装数据的跟踪 Google产品的错误报告Google图书的光学字符识别欺诈信息的分析Google地图的调试Bigtable实例上的tablet迁移Google分布式构建系统的测试结果分析磁盘I/O信息的统计Google数据中心上运行任务的资源监控 Google代码库的符号和依赖关系分析6 of64 of64《云计算》第三版配套PPT课件2 .7 海量数据的交互式分析工具Dremel2 . 7 . 1 产生背景2 . 7 . 2 数据模型2 . 7 . 3 嵌套式的列存储2 . 7 . 4 查询语言与执行2 . 7 . 5 性能分析2 . 7 . 6 小结 《云计算》第三版配套PPT课件两方面的技术支撑两方面的技术支撑另一方面：统一的数据存储格式一方面：统一的存储平台实现高效的数据存储，Dremel使用的底层数据存储平台是GFS存储的数据才可以被不同的平台所使用2 . 7 海量数据的交互式分析工具D r e m e l8 of64 《云计算》第三版配套PPT课件两方面的技术支撑关系数据库用关系模型进行建模，其数据存储方式有两种：早期：行存储（面向记录的存储）晚期：列存储，以属性为单位，每次存储一个属性，应用时将需要的属性重新组装成原始的记录缺点：很多数据之间没有严格关系，无法用关系模型进行很好地建模嵌套数据模型（GOOGLE采用）Dremel第一次在嵌套数据模型基础上实现列存储优点：处理时只需要使用涉及的列数据；更利于数据的压缩。9 of642 . 7 海量数据的交互式分析工具D r e m e l 《云计算》第三版配套PPT课件2 . 7 海量数据的交互式分析工具D r e m e l面向记录和面向列的存储Google的Dremel是第一个在嵌套数据模型基础上实现列存储的系统。好处一：处理时只需要使用涉及的列数据好处二：列存储更利于数据的压缩10 of64 《云计算》第三版配套PPT课件2 . 7 海量数据的交互式分析工具D r e m e l嵌套模型的形式化定义原子类型（Atomic Type）原子类型允许的取值类型包括整型、浮点型、字符串等记录类型（Record Type）记录类型则可以包含多个域记录型数据包括三种类型：必须的（Required）、可重复的（Repeated）以及可选的（Optional）11 of64 《云计算》第三版配套PPT课件2 . 7 海量数据的交互式分析工具D r e m e l嵌套结构的模式和实例符合该模式的两条记录文档的模式（Schema）定义利用该数据模型，可以使用 Java语言，也可以使用C++语言来处理数据，甚至可以用Java编写的MapReduce程序直接处理C++语言产生的数据集。这种跨平台的优良特性正是Google所需要的。12 of64 《云计算》第三版配套PPT课件2 .7 海量数据的交互式分析工具Dremel2 . 7 . 1 产生背景2 . 7 . 2 数据模型2 . 7 . 3 嵌套式的列存储2 . 7 . 4 查询语言与执行2 . 7 . 5 性能分析2 . 7 .